智能时代
我们对数据的认知
数据最大的作用在于承载信息,但并非所有的数据都承载了有意义的信息。数据本身是人造物,因此他可以被随意制造,甚至可以被伪造。
对数据和信息进行处理后,人类就可以获得知识。知识比信息更高一个层次,也更加抽象,它具有系统性的特征。
数据驱动方法:只要数据量足够,就可以用若干个简单的模型取代一个复杂的模型。因为它是先有大量的数据,而不是预设的模型,然后用很多简单的模型去契合数据。虽然这种数据驱动方法在数据量不足时找到的一组模型可能和真实的模型存在一定的偏差,但是在误差允许的范围内,单从结果上看和精确的模型是等效的。它是大数据的基础,也是智能革命的核心,更重要的是,它带来一种新的思维方式。
大数据和机器智能
人工智能这个名词严格地讲在今天有两个定义:
第一个是泛指机器智能,也就是任何可以让计算机通过图灵测试的方法,包括数据驱动方法;第二个是狭义上的概念,即20世纪五六十年代特定的研究机器智能的方法(首先了解人类如何产生智能,然后让计算机按照人的思路去做)。
全世界各个领域数据不断向外扩展,渐渐形成了另外一个特点,那就是很多数据开始出现交叉,各个纬度的数据从点和线渐渐连成了网,或者说,数据之间的关键性增强,在这样的背景下,就出现了大数据。
思维革命
托勒密方法论的核心思想:首先,需要一个简单的元模型,这个模型可能是假设出来的,然后用这个元模型构建复杂的模型;其次,整个模型要和历史数据相吻合。(动态规划管理学的理论方法和托勒密方法论一致)
缺陷: 一是整体模型很复杂;二是确定性假设,模型一旦产生,就是确定的和不会改变的。
笛卡尔的科学方法论:大胆假设,小心求证。
牛顿的机械思维:一是世界变化的规律是确定的;二是因为有确定性做保障,因此规律不仅是可以被认识的,而且可以用简单的公式或者语言描述清楚;三是这些规律应该是放之四海而皆准的,可以应用到各种未知的领域指导实践。→工业革命就是机械思维的结果
世界的不确定性来自两个方面:一是当我们对这个世界的方方面面了解的越来越细致后,会发现影响世界的变量其实非常多,已经无法通过简单的办法或者公式算出结果,因此我们宁愿采用一些针对随机事件的方法来处理他们,人为的把他们归位不确定的一类。二是不确定性的第二个因素来自客观世界本身,它是宇宙的一个特性。
信息量与不确定性有关:假如我们要搞清楚一件非常不确定的事,或是我们一无所知的事情,就需要了解大量的信息。相反,如果我们对某件事已经有了较多的了解,那么就不需要太多的信息就能把他搞清楚。所以从这个角度看,可以认为,信息量的度量就等于不确定性的多少,这样香农就把熵和信息联系起来了。→香农真是碉堡了!
香农老人家的杰作:第一定律(将原始信源符号转化为新的码符号,使码符号尽量服从等概分布,从而每个码符号所携带的信息量达到最大,进而可以用尽量少的码符号传输信源信息。)和第二定律(信息的传播速率不能超过信道的容量)。
最大熵原理:当我们要对未知的事件寻找一个概率模型时,这个模型应当满足我们所有已经看到的数据,但是对未知的情况不要做任何主观假设。
现代通信手段的本质:就是以相对低廉的成本获得人脉,而媒体行业的不断进步,本质上是不断地在为企业拓宽对外连接的宽带,使得它们做生意越来越方便。
大数据的科学基础是信息论,而它的本质就是利用信息消除不确定性。
大数据时代的思维方法:从大量数据中直接找到答案,即使不知道原因。这一方面给了我们一个找捷径的方法,同时我们不会因为缺乏勇气而被难倒;另一方面我们是否能接受这种不知道原因的答案。
大数据与商业
一项技术带动整个社会变革的事情,通常遵循一个模式:
新技术+ 原有产业 =新产业 (新技术:从蒸汽机,电,摩尔定律到大数据,机器智能)
大数据和智能革命的技术挑战
大数据并行计算的难题:一是任何一个问题总有一部分计算是无法并行的,这类计算占比越大,并行处理的效率越低;另一个影响并行计算效率的因素在于无法保证每个小任务的计算量是相同的。
数据安全技术面临问题:一是保证用户数据不损坏、不丢失;二是保证数据不会被偷走或者盗用。
大数据时代保护隐私的技术:一是从收集信息的一开始就对数据进行一些预处理,预处理后的数据保留了原来的特性,使得数据专家能够处理数据,但却读不懂数据的内容;二是双向监视,让侵犯隐私的人必须以自己的隐私来做交换。→我个人比较期待第二种双向监视的方式!
未来智能化产业
未来的农业:在引入机器智能后,农业将以崭新的形态出现(以色列利用高科技改善农业灌溉)。
未来的体育:利用大数据指导训练,分析和总结优秀运动员的动作与技术,纠正其他运动员的动作(NBA金州勇士队利用大数据建队)。
未来的制造业:机器智能渗透到产品制造和销售的各个环节时,整个制造业将重新洗牌,未来的竞争要靠从设计到销售全过程的智能化水平。
未来的医疗:降低医疗成本、解决医疗资源短缺、制造业革命、预防衰老及延长寿命
未来的律师业:自然语言处理软件处理法律文件,提高律师工作效率,降低诉讼成本。
未来的记者和编辑:计算机能提高新闻行业的效率,同时会让记者和编辑的工作种类萎缩。
拥抱革命,争当2%的受益人
在智能时代,不是每个人都要去机器智能的研发制造企业或者去数据公司找工作,而是大家要接受一个新的思维方式,利用好大数据和机器智能,加入到智能革命的浪潮中,成为2%的受益者。