三、大数据和智能革命的技术挑战
大数据为什么发生在今天？作者认为这是技术发展的结果，但是由于大数据的数据量大、多维、完备性等特点，用好大数据也需要在技术和工程上采用不同以往的方法，尤其是思维方式。大数据和机器智能的发展，还会带来新的技术挑战，比如数据安全、隐私保护等。
人类社会的科学技术的发展不是匀速的，往往在经过很长时间的酝酿之后会出现技术的爆发，作者称之为技术拐点，比如1666年以牛顿的三项巨大科学贡献标志着人类进入科学近代社会；1905年，爱因斯坦开启的科学的近代社会；1965年，摩尔定律提出，人类社会进入信息革命时代。每一个拐点出现之前，都有长时间的平衡，然后是平衡被打破，新的技术革命出现，而这种平衡被打破的时间周期越来越短。（联想到近期听到的关于颠覆式创新的双s曲线，异曲同工）。作者认为当下是大数据技术的拐点，（有幸赶在一个大的拐点上，这个时代的人是幸福的）为什么是今天？其主要原因是所有跟数据相关的条件在这个时间开始成熟。
1、数据产生。大数据的产生有四个重要来源，电脑（不单指PC机，包括所有数字化设备）、传感器、过去就存在的非数字化产品在今天可以数字化以及互联网。其中增长最快的是传感器和互联网。（又联想到有大牛说移动互联网之后是iot时代）
2、数据存储。硬件的发展突破大数据量的存储，以及对大数据量存储的读写。
随着存储量越来越大， 敢想一下，也许若干年后，会出现体积更小但存储量更大的存储设备）
3、数据传输。互联网、移动互联网的发展，使得数据传输不成问题。
4、数据处理。大规模的并行计算，用普通的计算机就可以将大数据量的计算效率提高多少倍。
这些条件的成熟加速了大数据和机器智能的出现，但是要发展，面临技术难题。
1、数据采集的难题。大数据时代，收集数据时常常没有预先设定的目标，而是先把数据收集起来，经过分析后，能得出什么结论就是什么结论。（这种方式不同于大胆假设、小心求证）并且大数据收集以全集为样本，也就是全量采集。进行数据的全量收集，技术手段还在探索。
2、大数据的存储和表示方式的难题。大数据的特点造成对存储的挑战不难理解。数据的表示呢，大数据的多维性注定数据各种各样，没办法用一个统一的格式描述，但是还是需要一些标准的格式，以便这些数据能够共享和使用。（世界上的所有数据的格式做字典可能吗？）
3、并行计算和实时计算的难题。并行计算能够提高计算效率，但是作者给出了数据证明，在一个任务中并行比例达到95%时，最大的加速倍数是20倍，即使再增加处理器，加速倍数也不会再多了。（也就是并行计算有瓶颈？！）
4、数据挖掘的难题。使用大数据，挖掘是关键。两个重要的步骤，一是数据过滤和整理；然后是机器学习，机器学习是不断寻找最优解的迭代过程，谷歌采用的是神经网络算法，谷歌做的事情是将稳定了多少年的神经网络算法工程化，他的突破在于找到了一种方法，解决了过去的神经网络不能训练大模型的难题，从而实现大数据的复杂模型的机器学习。机器学习的算法研究很专业（看成专业的工具），不可能每家都去造工具，所以一定会集中在某些公司。
5、数据安全的难题。数据安全有两层含义，一是数据不会丢。二是数据不会被盗。这两层的意思在全世界范围内都存在（联想到最近大热的物联网，安全将是物联网的重灾区），都还在探索，但是作者也给出了用大数据的特点做安全保护（常规的使用流程里如果出现异常的使用流程，安全可能就存在问题了）
大数据和人工智能是正在发生的新一代的信息革命，大数据是新技术，更是一种思维方式。大数据和机器智能在商业中已经有很多的应用场景。几年前，我家老二还是二岁时，我手机就曾经收到过电商发来提醒我尿不湿是不是用完了，是否需要重新下单的短信。当时还觉得好玩，现在还有哪个APP不能根据你的浏览爱好推送相关主题呢？每个人都成为大数据中一份小数据，又都在使用大数据计算结果，不知不觉已经生活在数据中。
未来人类社会的部分工作被机器智能代替了，人从事什么工作才不被替代？近前的我们，或许可以考虑，一种是与数据直接相关，再就是应该思考怎样在当前的工作中用好大数据进行行业改造。远一点的后辈呢？马云在大数据峰会上都说啦，如果不让孩子玩，未来的孩子将可能找不到工作。即使这话有些许夸张，但是这对我们在下一代的教育上确实应该有启发。面向未来，我们的孩子将更加需要创造力培养，美学艺术教育、游戏力教育、体育教育，以及其他鼓励孩子个性发展、动脑动手的教育，都应该是我们关注的重点。
#365写作挑战Day137
