国庆假期阅读了几本数据分析相关的书，以读书笔记的方式推荐给大家。

本篇为 《深入浅出数据分析》/ 的读书笔记。

全书一共13章，涉及数据整理、数据分析、假设检验、回归分析、实验检验等数据分析的方法，以及Excel、R、DB等数据分析的工具。下面先按照章节整理下读书笔记。

CH1 什么是数据分析

本章和CH8启发法中都写了对数据分析的理解

CH1：所谓数据分析是心智模型（直觉、数据的心智）在数据上的体现，人们的心智模型影响对数据的解释，大脑无法处理所有数据，当面对纷繁的数据的时候大脑会依赖心智模式做出选择。

CH8：数据分析就是妥善分解问题，为数据套上适当的心智模型和统计模型，做出正确的判断，但不保证次次正确

如何避免心智模式对数据分析的影响，下面是一些建议（用数据的心智去分析）：

1.流程： 确定问题--分解问题--评估/分析问题（资源和数据约束情况可以多用启发法、假设法）--做出决策 ，循环迭代，直至获得最优解（这里要综合考虑资源、代价）

2.方法： 明确目标、基于对业务的理解和已知的信息作出假设（提速的关键）、使用反查表寻找自己思维盲区（这个需要积累或者同事的建议）、通过假设检验过程拉取更多数据

3.建议： 客户未必明确他们的需求（有时候客户的论点值得商榷）、分解数据的过程可能就是解决问题的过程

上面的数据分析流程和方法和《麦肯锡意识》中推崇的解决问题的思路是一致的，建议结合阅读。

CH2 实证检验

实证检验是一种观察研究法，面对复杂问题，通过对部分因素的控制，研究对象差异性

控制混杂因素： 拆分数据为同质性的小数据块

让数据说话，策略选择：应用不同策略到控制组、对照组，要保证组之间的相似性（消除混杂因素影响的好办法），从而证明策略效果的差异性

CH3 最优化

我们处理的最优化问题都可以转换为一个函数，有目标变量、控制变量，以及我们不可控的约束条件。

本章介绍了一个实现最优化的工具，Microsoft Excel Solver

CH4 图形化 可视化

通常数据分析过程中数据探索、结果呈现都需要用到可视化的图形，比如散点图（多元图形）、折线图、柱图、气泡图（多元图形）等等。

但是不要忘记分析的目标，庞大的数据都是为目标服务，而不是为了好看的可视化效果。

实现可视化的工具既有Excel、Tableau也有R、Python等程序化工具。

CH5 假设检验

假设检验作为一种数据分析中常用的非直觉方法（非线性思考），也叫证伪法。再次呼应开头时候讲的什么是数据分析，这里提到了解决问题的直觉法（往往只看到一个选项，不靠谱），以及信仰数据的假设法，目的是实现最优化的解决方案。

在我们面对复杂问题或者数据比较少的问题时，假设法是一个开启分析的利器。通过假设我们构建问题的模型，列出所有的相关变量，并分析变量之间的相关关系（这里可以参考《系统思维》里面提到的系统循环图：调节回路、增强回路）。 通过变量之间的网状关系进行问题的模拟。

针对假设我们要使用证伪法，而避免使用满意法，目的就是不放过每个可能的假设，否定性最小的假设往往就是我们的最优选择。

证伪的过程可以使用逻辑树或者问题树的形式进行组织，充分利用手头资料进行“是或否”的回答。

CH6 贝叶斯统计和概率

本章主要介绍了概率、先验概率、后验概率等概念。

CH7 主观概率 信念数字化

数据分析的过程中并非不可以使用直觉，但是需要以更严谨的方式融入数据分析过程。

数字化的主观概率可以让我们对专家们之间的分歧有更确切的认知。

专家信念转化为主观概率，汇总群体（这里群体是解决个体主观偏差的关键点）的主观概率并进行一些相关的偏差度量分析可以实现不错的效果。

一旦有更确定的数据可以进行主观信念的修正，可以用上一章介绍的贝叶斯统计条件概率进行修正。

CH8 启发法，从直觉到最优化

任何数据分析都是有代价的，具体到模型（约束条件、决策变量）就是数据的获取往往是有代价的。

启发法很好的解决了数据获取代价和收益平衡的问题，通过选取一两个变量，通过这些变量对整个系统/模型分析得出结论。

启发法是从直觉走向最优化的桥梁，通常直觉分析中我们只看到一个选项，通过启发法我们可以看到多个选项，并可能获取最优答案（所有可选答案）。

启发法在心理学（心理学定义-用一种便于理解的属性代替一种难以理解的属性）和计算机科学（一种解决问题的方法，可以得出正确答案，但不保证最优答案）中有广泛应用，在解决复杂或者模糊问题时可以大大提高我们处理的效率。

个人觉得启发法和假设检验，都是很好的提高数据分析效率的方法。 具体的区别大家有什么想法？

CH9 直方图

本章主要介绍了如何用Excel、R画直方图，直方图是一个很好的观察数据分布、差异、集中趋势等的工具。

CH10 回归和预测

数据分析的目的分类、预测是最常见两类，回归就是一个解决预测的常用方法。

通常结合散点图观察数据的相关性，通过回归算法形成回归模型（通过数据训练算法得出参数）。

CH11 误差的理解

预测和现实结果之间难免有误差，通常在进行预测分析的时候我们需要指出误差范围。

在应用回归模型进行预测的时候我们需要注意：

回归模型有适用的数据范围，如果超出范围进行预测（外插法）往往失准

回归模型中存在残差，通常我们有均方根误差进行计量（残差的标准差）

回归模型的合理分拆，有助于减少误差实现更准确的预测

CH12 关系型数据库

关系数据库是我们数据分析中常见的数据源，相关的表结构、SQL是数据分析师应该掌握的。

CH13 整理数据

数据分析过程中耗时最长的往往是数据整理、清洗。

在数据整理的过程中，我们一定要明确目标（输出格式），基于目标进行原始数据和目标数据的映射匹配。

重新整理13个章节：

分析思路（CH5假设检验、CH8启发法、CH2实验检验、CH1什么时候数据分析）

分析工具（CH6贝叶斯统计、CH3最优化计算、CH10回归计算）

结果展现（CH4可视化、CH9直方图）

数据处理（CH13整理数据、CH12关系型数据库）

我们发现数据分析中思路是根本，黑体章节推荐重点阅读。

本书阅读过程中穿插阅读了

《麦肯锡意识》

《周志华-机器学习》

还推荐阅读 深入浅出系列图书

《深入浅出统计学》