mindmap.png

数据分析一般流程

一、观测

定义：对事物形成客观量化的认知。

方式：获取数据形成报表、图表

内容:

（一）观察

1 采集数据

1. 解析系统日志：用户行为-产生日志-解析日志-得到数据
   • 埋点获取新数据：【自定义日志】记录新信息，如记录IP-解析日志-得到新数据
   • 【埋点】基于系统日志新增数据的过程。是分析师获取数据最常用、可靠的方式。
     • 个人理解是指原有日志中没有记录一些特定信息，后面新增一个记录变量
2. 通过传感器采集：天气、生理指标
3. 爬虫：解析网站呈现内容、抓取数据【少用】
4. API应用程序接口：
   从特定平台用过API获得其开放数据，通过代码使数据按需呈现

2 储存数据

各类数据库：hive、mySQL、Presto等【数据库工程师】
搭建云端数据库

3 展示数据

可视化高效传达信息

（二）测量【分析数据目的】

1 设定标准
2 发现异常
banchmark
3 研究关系
可视化查看相关性
建模推导相关性

二、实验

定义：发现规律、提出假设，验证假设

【！未经数据验证的想法都是假设】

方式：

1. A、B测试：实验-对照
2. 科学研究

• 【问题1】如何在业务只有少量数据时设计实验
• 【问题2】如何无法在同时测试两个版本时比较数据

三、应用

方法：

1. 不断基于数据（通过实验得到方法）反馈迭代产品和业务策略：

1. 【明确业务目标】
2. 【拆解目标】
   • 拆解方法【只要负荷MECE法则即可】：
     • [MECE]法则
       • "相互独立、完全穷尽"，即所谓的 "无重复、无遗漏"。
       • 要素拆解法：【个人理解】
         • 找到影响结果的自变量因素，
         • 如A成绩下滑，按照老师的要素，分为A老师，B老师；按照教学方法的要素，分为A方法，B方法
       • 流程拆解法：【个人理解】
         • 找到导致结果的流程并分析，估算每一个环节到下一个环节的概率【转化率】。可以形成一个漏斗模型，使用于流程长、环节多，随流程进行留存率越来越少的场景。
         • 还是那个例子，A学习的流程是：上课-写作业-考前复习-成绩下滑。可能是听课没有认真，可能是作业没有认真完成，可能学后没有巩固复习
       • 二分法
         • 把事物分成 A 和非 A 两个部分
       • 公式法
         • 公式法是按照公式设计的要素进行分类，公式若成立，那么要素的分类就符合MECE原则。
         • 比如　GMV＝客流量X客单价
       • 矩阵法
         • 把事物按二维矩阵进行分类或划分
         • 例如说时间管理中常用的紧急且重要、紧急不重要、不紧急但重要、不紧急也不重要的分类方法就是典型的矩阵法。
     • 象限拆解法【个人理解】
       • 找到两个因变量，构成二维矩阵，之后据此对用户特征等自变量因素划分
       • 方便找到问题的共性、对不同的对象建立优化策略
     • 杜邦分析法-比较业绩
       • ROE，return on equity，即净资产收益率，或净资产回报率。ROE衡量的是企业的赚钱的能力。
       • ROE=净资产利润率 * 权益乘数 * 资产周转率，这就是杜邦分析法公式。
     • AARRR-用户增长的数据分析模型
       • Acquisition、Activation、Retention、Revenue、Refer，这个五个单词的缩写，分别对应用户生命周期中的用户获取、用户激活、用户留存、获得收益、推荐传播这5个重要环节。
     • PEST-战略管理分析
       • 政治（Politics）、经济（Economic）、社会（Society）、技术（Technology）四个方面
     • RFM-客户细分
       • 指根据客户活跃程度和交易金额贡献，进行客户价值细分的一种方法。
     • SWOT-企业内外条件分析
       • 企业优势（strength）、劣势（weakness）、机会（opportunity）和威胁（threats）
     • 5W1H-数据分析流程
       • Who（分析谁）、Where（取哪里的数据）、When（取什么时间段的数据）、What（用什么分析方法）、Why（什么原因导致的）、How（如何呈现最终结果）
     • 5W2H
       • （1）why（何因）——为什么？为什么要这么做？原因是什么？
       • （2）what（何事）——是什么？目的是什么？
       • （3）where（何处）——何处？从哪里来？到哪里去？
       • （4）when（何时）——何时？什么时间完成？
       • （5）who（何人）——谁来执行？谁来负责？谁来管理？
       • （6）how——怎么做？如何提高效率？如何实施？
       • （7）how much——做多少？做到何种程度？数量、质量如何
3. 反馈产品【更新产品】，反馈业务【联系业务】
4. 【回到观测数据】

2. 基于数据训练算法，让激起自动化完成工作

参考网址

https://www.bilibili.com/video/BV1ZM4y1u7uF/?spm_id_from=333.788.recommend_more_video.-1
https://blog.csdn.net/weixin_43944943/article/details/123115108