《大数据时代》是国外大数据研究的先河之作，作者为奥地利商业分析大师维克托·迈尔·舍恩伯。
维克托·迈尔·舍恩伯格在书中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维。
本文主要讲解该书的Part1，详细阐述了全量数据应用、宏观洞察与更看重相关关系的大数据思维。
《大数据时代》思维导图
大数据与三个相互联系相互作用的思维转变有关
- 要分析与事物相关的所有数据，而不是依靠分析少量的样本数据（本章重点）
- 乐于接受数据的纷繁复杂，而不再追求精确性
- 我们的思想发生了转变，从探求难以捉摸的因果关系转为关注事物的相关关系
01 更多：不是随机样本，而是全体数据
技术条件的提高，大大拓展了我们收集数据、处理数据的能力，但我们依然没有完全意识到自己拥有了能够收集和处理大规模数据的能力。
小数据时代的随机采样，最少的数据获得最多的信息
- 人口普查——1086年英国调查当时的人口土地和财产进行全面的记载形成《末日审判书》，然耗资费时
- 无奈之举——采样分析
- 采样分析的精确性随着采样随机性的增加而大幅提高，但与样本数量的增加关系不大（样本数量到达一定数量，从新样本得到的信息将递减，类比经济学中的边际效应递减）
- 每年采用多次小规模样本人口普查
- 推广：商业领域的质检
- 随机采样取得了巨大的成功，但它存在固有缺陷：
- 一旦采样过程存在任何偏见，分析结果就会相去甚远
- 随机采样不适合考察子类别的情况
- 随机采样需要实现设计好问题的结果，调查缺乏延展性，数据不能重新分析以获得计划之外的目的
全数据模式：样本 = 总体
- 全面性+即时性：技术的进步使得我们可以收集全面完整的数据，提高微观层面分析的准确性以及快速分析反应的能力
- 大数据不是绝对意义上的“大”，而是相对于随机分析法来说，采用所有数据的方法（全数据）
- 社科应用举例：对小团体或是整个社会，多样性都有其额外价值
02 更杂：不是精确性，而是混杂性
乐于接受数据的纷繁复杂，而不再追求精确性
允许不精准
- 数据量的大幅增加及数据采集频率的增加会造成结果的不准确，与此同时，一些错误的数据会混入数据库
- 各种各样的混乱
- 格式的不一致性-清洗数据
- 大数据通常用概率说话，而不是一副确凿无疑的面孔
大数据的简单算法比小数据的复杂算法更有效
大数据的绝对数量优势压倒了其带来的纷杂错误
纷杂的数据越多越好
- 全面的数据库使我们不需要担心某个数据点对整套分析的不利影响
- 我们需要做的是接受这些纷杂的数据并从中受益，而不是以高昂的代价消除所有的不确定性（关注焦点的变化）
- 大数据不仅让我们不再期待精确性，也让我们无法实现精确性
- 错误性不是数据固有的，而是测量、记录和交流数据的工具的缺陷
- 错误并不是大数据固有的特性，而是亟待解决并可能长期存在的现实问题
新的数据库设计的诞生
- 非关系型数据库的出现——不预设记录结构，允许繁杂数据的记录
- 更多的处理和存储资源——大大降低的存储和处理成本
- 大的数据库的分布式存储对数据库提出更多的要求
- Hadoop：与谷歌的MapReduce系统相对应的开源式分布系统的基础构架
- 实现超大量数据的处理
- 内部建立数据副本（应对硬件可能的瘫痪）
- 假定数据之大导致数据在处理之前不可能整齐排列
- 假定数据量巨大使其完全无法移动，需要在本地进行数据分析
- 适用于不要求极端精确的任务，例如顾客分群营销等
- 只有5%的数据是结构化的，能够适用于传统数据库，接受不确定性，拥抱剩下95%的非结构化数据（网页和照片视频资源等）
- 大数据更强调数据的完整性和混杂性，帮助我们进一步接触事实的真相（小数据-可能出现管中窥豹的情况）
03 更好：不是因果关系，而是相关关系
知道是什么就够了，不需要知道为什么
林登与亚马逊推荐系统
- 个性化推荐系统在亚马逊的使用
- 知道是什么可以更直接的作用，而为什么需要复杂的推导运算
关联物，预测的关键
- 相关关系的核心：量化两个数据值之间的数量关系
- 相关关系通过识别有用的关联来帮助我们分析一个现象，而不是揭示其内部的运作机制
- 相关关系没有绝对，只有可能性，但强相关关系链接成功的概率还是很高的
- 利用某个现象的良好的关联物，相关关系可以帮助我们捕捉现在和预测未来
- 如果寻找关联物
- 机器计算能力，代替了人工选择一个关联物或者一小部分相似数据进行逐一分析
- 用数据驱动的关于大数据的相关关系分析法，取代了基于假想的易出错的方法
- 大数据的相关关系分析法更准确、快速，且不容易受偏见的影响
- 大数据的核心是建立在相关关系分析法基础上的预测
- 社会环境下寻找关联物
- 通过找出新种类数据间的相互联系来解决日常需要 例如用于监测桥梁、机器等的传感器数据用于故障预测
“是什么”，而不是“为什么”
- 小数据时代获取相关关系和因果关系都耗费巨大（建立假设 >>> 进行实验 ，存在受偏见影响的可能，且数据收集困难），当前这些困难迎刃而解
- 相关关系：线性关系到非线性关系的发展
- 快速思维模式与慢性思维模式
- 快速思维模式使人们偏向于用因果联系看待周围的一切，即使这种关系并不存在
- 直觉得来的因果关系很多时候并没有加深我们对这个世界的理解，只是给我们一种自己已经理解的错觉。大数据的相关关系将经常证明直觉的因果联系是错误的
- 因果关系的证明要求单一变量实验，难以在现实中实现
- 相关关系很有用，它为我们提供新的视角，而且提供视角清洗。而一旦我们把因果关系考虑进来，这些视角就可能被蒙蔽
