一、搜索引擎概述
桥梁——引导用户找到所求
满足用户需求的过程
连接人与内容、人与服务
1.三段式结构
2.基于MapReduce的建库系统（建库流）
网页库->Downloader(Hadoop)->网页文件(HDFS)->Parser(Hadoop)->处理过的网页文件(HDFS)->Interver(Hadoop))->小索引文件(HDFS)->Index Merger(Hadoop)->正式索引文件(HDFS)
目的：建立供检索使用的索引和摘要
输入:网页
输出:索引和摘要
处理:多轮map-reduce
页面分析和处理(parser-extractor)
页面属性小库输出(splitter)
小库正排转倒排(invert-index)
小库合并大库(index merge)
二、广告系统概述
搜索 广告点击计费：CPC
展示广告展现计费：CPM
淘宝客：CPS
1.淘宝广告系统简介：
搜索广告：
参与的三方：网民、广告主、搜索平台
广告触发：keyword Tartgeting：
广告主和网民通过关键词表达需求
网民输入的query和广告主购买的keyword进行匹配
CTR预估(click/show):机器学习：
点击率用于广告的排序和推左
保护网民的利益和提升搜索引擎的收益
广告排序:关键词广告拍卖机制：
每一次的广告展现都是一次动态的拍卖
排序函数:ctr*bid
三、知名推荐系统架构
NetFlix
界面UI那一块包含3块东西:1) 通过一定方式展示推荐物品(物品标题、 缩略图、简介等);2) 给的推荐理由;3) 数据反馈改进个性化推荐;
关于用户数据的存放地方:1)数据库/缓存用来实时取数据;2) hdfs文 件上面;
抽象出三种推荐方式：
推荐引擎的构建来源于不同的数据源(也就是用户的特征有很多种类，例如统计的、 行为的、主题的)+不同的推荐模型算法，推荐引擎的架构可以是多样化的(实时推荐 的+离线推荐的)，然后融合推荐结果(人工规则+模型结果)，融合方式多样的，有 线性加权的或者切换式的等。
HULU推荐架构：
优酷推荐架构：
