今天pr的部分主要介绍Tenserflow用的DeepLearning模型的起源。
1.AI
AI最早起源于艾伦·麦席森·图灵(卷福电影《模仿游戏》讲的就是他)提到的图灵测试。
1956年John McCarthy提出AI(Artifical Intelligence)这个词。
1969-1970 发明了专家系统。原理是用计算机模仿专家的推理模式。但所有的输出都是固定的。
1980年末 机器学习算法BP(反向传播的诞生。
1997年,IBM的深蓝AI在国际象棋上第一次打败人类。引发了AI潮。生成了很多好的算法,如支撑向量机,随即森林,逻辑回归等。
2000年后,互联网的普及使得数据传输方便,于是有了CTR评估系统、垃圾邮件过滤系统、网页搜索排序系统。
2.机器学习
机器学习是AI的一种实现。他通过学习过去的经验来提升正确率。
他的学习方式有两种:有监督和无监督。有监督学习对数据有标记,而无监督对数据没有标记,要通过计算机自己找到数据的结构特点。
他算法有很多,Tenserflow用的Deep Learning就是其中一种。
3.深度学习(Deep Learning)
2006年由Geoffery Hinton 和Rulan Salakhutdinov提出。主要是由无监督学习来对权值初始化,然后用监督学习来微调。这样能解决深层网络训练种梯度消失的问题。
4.人工神经网络(ANNs)
深度学习是基于ANNs的。所以对他的发展历史分析很有必要。
1890 W.James对人脑结构研究
1943 W.S.McCulloch和W.Pitts模拟神经传输方式发明了M-P模型。M-P模型的特点是多个输入一个输出。对于不同输出有不同权值影响,大于阈值才输出。
1949 Donal Hebb提出权值不应为常数。
1957 Frank Roseublutt制造了感知机,实现自主学习。但问题是只能解决线性问题。
而后的两个重要发现解决了这个问题,使得深度学习再次出现在人们的视野。
1982 J.J.Hopfield Hopfield神经网络
1986 David E.Rumelhart和James L.McCelland发表的《并行分布式处理》