【提纲】

一、初识数据产品经理                              二、数据产品经理基础知识

三、数据分析思维                                      四、数据仓库理论与应用

五、大数据分析平台实战                          六、用户行为分析平台实战

七、ABTest平台构建                                八、各领域中应用

【第一章】初识数据产品经理

一、Why？行业现状

二、日常工作：从业务出发；产品原型与需求文档；与研发工程师做朋友；多喝用户聊聊

三、思维方式：归纳与演绎思维；数据思维；用户思维；产品思维；工程思维；5W2H，SMART，TodoList

【第二章】数据产品经理基础知识

一、常用工具：Excel、SQL、R、Axure、Visio

二、产品需求管理：需求来源与需求判断、需求池管理、需求跟进与需求落地

三、软实力：快速成长能力、沟通表达能力、推动项目能力、数据感知能力

【第三章】数据分析思维与实战

一、数据产品VS数据分析：岗位职责、具备素质

1、数据产品：规划并定义适合公司业务发展的数据产品；产品经理通用能力；数据分析能力

2、数据分析：数据敏感与数据分析方法；常用分析工具；对业务和产品要有深刻理解

二、常用分析方法：常规分析、统计模型分析、自建模型分析

【第四章】数据仓库理论与应用

一、Hadoop

1、三驾马车：HDFS（解决存储问题）、MapReduce（高效处理数据）、HBase

图片发自简书App

（1）流行的两大数据处理框架：Hadoop、Spark。两者关系：既合作补充，又存在竞

图片发自简书App

（2）几个基础工具了解：

        A：Spark：开源的集群计算环境。启用了内存分布数据集，在处理某些工作负载方面表现更优越，交互更友好

        B：Kafka：高吞吐量的分布式发布订阅消息系统，可处理各大网站、APP中用户的动作流数据。Kafka集群上的消息是有时效性的，可以对发布上来的消息设置一个过期时间，不管有没有被消费，超过过期时间的消息都会被清空。

        C：Storm：主要应用于分布式数据处理，包括实时分析、在线机器学习、信息流处理、连续性计算、ETL。Storm还可应用于实时处理，被称为实时版的Hadoop

        D：HBase：是一个构建于HDFS上的分布式、面向列的存储系统。以key-value对的方式存储数据并对存取操作做优化，能飞快根据key获取绑定的数据

        E：HUE：是Cloudera的大数据web可视化工具，主要用来简化用户和hadoop集群的交互。可在web页面把数据从HDFS等系统导入hive中，可直接通过HUE以HiveSQL的方式对数据查询展现

        F：Oozie：工作流调度系统，统一管理工作流的调度顺序、安排任务的执行时间等，用来管理Hadoop任务。Oozie集成了Hadoop的MapReduce、Pig、Hive等协议以及Java、Shell脚本等任务，底层仍然是一个MapReduce程序

      G：ZooKeeper：是Hadoop和HBase的重要组件，是一个分布式开放的应用程序协调服务，主要为应用提供配置维护、域名服务、分布式同步、组服务等一致性服务

      H：YARN：保证工具有序地运行在同一个集群上，需要一个调度系统进行协调指挥

图片发自简书App

二、大数据平台层级结构

图片发自简书App

1、原始数据层（ODS层）：当前的、不断变化的数据。ODS层按分钟级别捕捉 生产系统的数据变化，然后每天将归档后的数据加载到数据仓库中，归档的标记为这条记录是否已完成。ODS层的作用：

  （1）在业务系统和数据仓库之间形成一个隔离层

  （2）转移一部分业务系统细节查询的功能

  （3）完成数据仓库中不能完成的一些功能

2、数据仓库层：保留历史的、不再变化的数据，所以一半会落后ODS层一天活一天以上的数据。DW本身不“生产”任何数据，同时自身也不需要“消费”任何数据，数据来源于外部、并开放给外部应用。

  （1）特点：面向主题的；集成的；不可更新的

  （2）满足要求：效率足够高；数据质量；可扩展性

  （3）主要分层：基础层、主题层、数据集市层

            A：基础层：轻度汇总，产出轻度汇总明细、维度表、码表、事实集等

                  建模层次划分：业务模型 -> 领域模型 -> 逻辑模型 -> 物理模型

            B：主题层：高度聚合层（按照一定维度和业务逻辑），不存在明细数据了

            C：数据集市层：将基础层、主题层的数据 按各业务需求进行聚合，生成宽表和Cube，直接推送给数据分析师和业务部门使用。结构：星型、雪花。

三、数据埋点

1、埋点方式

    （1）有代码埋点、可视化埋点、无埋点

    （2）客户端前端埋点（全面、记录不需要请求服务器的操作行为）、服务器后端埋点（实时、准确，用户需要请求服务器关键业务最好使用该方式。eg：在线播放、游戏安装etc）

2、埋点事件

    （1）类型：点击事件、曝光事件、页面停留时长

四、指标字典

1、概念

2、指标定义的规范

五、数据管理系统

1、数据质量的重要性

图片发自简书App

2、数据管理系统的质量检测

（1）失效性检查

          A：当天MySQL表和Hive表中的核心指标是何时生成的？

          B：有哪些表的产出时间比预期时间延迟了？

          C：任务延迟的原因是由哪几张表造成的？

          D：瓶颈在哪里？优化哪几层？哪几张表可以提高核心指标等的生成时间？

（2）一致性检查

          Step1：建立数据依赖引擎，实现依赖图谱

          Step2：计算数据准备情况

          Step3：建立数据计算引擎

          Step4：建立数据比较引擎

3、数据管理系统的功能：数据流管理、任务管理、数据管理