【提纲】
一、初识数据产品经理 二、数据产品经理基础知识
三、数据分析思维 四、数据仓库理论与应用
五、大数据分析平台实战 六、用户行为分析平台实战
七、ABTest平台构建 八、各领域中应用
【第一章】初识数据产品经理
一、Why？行业现状
二、日常工作：从业务出发；产品原型与需求文档；与研发工程师做朋友；多喝用户聊聊
三、思维方式：归纳与演绎思维；数据思维；用户思维；产品思维；工程思维；5W2H，SMART，TodoList
【第二章】数据产品经理基础知识
一、常用工具：Excel、SQL、R、Axure、Visio
二、产品需求管理：需求来源与需求判断、需求池管理、需求跟进与需求落地
三、软实力：快速成长能力、沟通表达能力、推动项目能力、数据感知能力
【第三章】数据分析思维与实战
一、数据产品VS数据分析：岗位职责、具备素质
1、数据产品：规划并定义适合公司业务发展的数据产品；产品经理通用能力；数据分析能力
2、数据分析：数据敏感与数据分析方法；常用分析工具；对业务和产品要有深刻理解
二、常用分析方法：常规分析、统计模型分析、自建模型分析
【第四章】数据仓库理论与应用
一、Hadoop
1、三驾马车：HDFS（解决存储问题）、MapReduce（高效处理数据）、HBase
（1）流行的两大数据处理框架：Hadoop、Spark。两者关系：既合作补充，又存在竞
（2）几个基础工具了解：
A：Spark：开源的集群计算环境。启用了内存分布数据集，在处理某些工作负载方面表现更优越，交互更友好
B：Kafka：高吞吐量的分布式发布订阅消息系统，可处理各大网站、APP中用户的动作流数据。Kafka集群上的消息是有时效性的，可以对发布上来的消息设置一个过期时间，不管有没有被消费，超过过期时间的消息都会被清空。
C：Storm：主要应用于分布式数据处理，包括实时分析、在线机器学习、信息流处理、连续性计算、ETL。Storm还可应用于实时处理，被称为实时版的Hadoop
D：HBase：是一个构建于HDFS上的分布式、面向列的存储系统。以key-value对的方式存储数据并对存取操作做优化，能飞快根据key获取绑定的数据
E：HUE：是Cloudera的大数据web可视化工具，主要用来简化用户和hadoop集群的交互。可在web页面把数据从HDFS等系统导入hive中，可直接通过HUE以HiveSQL的方式对数据查询展现
F：Oozie：工作流调度系统，统一管理工作流的调度顺序、安排任务的执行时间等，用来管理Hadoop任务。Oozie集成了Hadoop的MapReduce、Pig、Hive等协议以及Java、Shell脚本等任务，底层仍然是一个MapReduce程序
G：ZooKeeper：是Hadoop和HBase的重要组件，是一个分布式开放的应用程序协调服务，主要为应用提供配置维护、域名服务、分布式同步、组服务等一致性服务
H：YARN：保证工具有序地运行在同一个集群上，需要一个调度系统进行协调指挥
二、大数据平台层级结构
1、原始数据层（ODS层）：当前的、不断变化的数据。ODS层按分钟级别捕捉 生产系统的数据变化，然后每天将归档后的数据加载到数据仓库中，归档的标记为这条记录是否已完成。ODS层的作用：
（1）在业务系统和数据仓库之间形成一个隔离层
（2）转移一部分业务系统细节查询的功能
（3）完成数据仓库中不能完成的一些功能
2、数据仓库层：保留历史的、不再变化的数据，所以一半会落后ODS层一天活一天以上的数据。DW本身不“生产”任何数据，同时自身也不需要“消费”任何数据，数据来源于外部、并开放给外部应用。
（1）特点：面向主题的；集成的；不可更新的
（2）满足要求：效率足够高；数据质量；可扩展性
（3）主要分层：基础层、主题层、数据集市层
A：基础层：轻度汇总，产出轻度汇总明细、维度表、码表、事实集等
建模层次划分：业务模型 -> 领域模型 -> 逻辑模型 -> 物理模型
B：主题层：高度聚合层（按照一定维度和业务逻辑），不存在明细数据了
C：数据集市层：将基础层、主题层的数据 按各业务需求进行聚合，生成宽表和Cube，直接推送给数据分析师和业务部门使用。结构：星型、雪花。
三、数据埋点
1、埋点方式
（1）有代码埋点、可视化埋点、无埋点
（2）客户端前端埋点（全面、记录不需要请求服务器的操作行为）、服务器后端埋点（实时、准确，用户需要请求服务器关键业务最好使用该方式。eg：在线播放、游戏安装etc）
2、埋点事件
（1）类型：点击事件、曝光事件、页面停留时长
四、指标字典
1、概念
2、指标定义的规范
五、数据管理系统
1、数据质量的重要性
2、数据管理系统的质量检测
（1）失效性检查
A：当天MySQL表和Hive表中的核心指标是何时生成的？
B：有哪些表的产出时间比预期时间延迟了？
C：任务延迟的原因是由哪几张表造成的？
D：瓶颈在哪里？优化哪几层？哪几张表可以提高核心指标等的生成时间？
（2）一致性检查
Step1：建立数据依赖引擎，实现依赖图谱
Step2：计算数据准备情况
Step3：建立数据计算引擎
Step4：建立数据比较引擎
3、数据管理系统的功能：数据流管理、任务管理、数据管理
