我们在“易图秒懂の神经网络潜行-CNN前生" 和 “易图秒懂の神经网络潜行-RNN前生" 里面,简述了神经网络潜行的发展。”易图秒懂の符号主义诞生“里我们提到符号主义发展后, 诞生了认知科学新的分支。 随着认知科学的大佬们开始注意神经网络, 在学习领域, 符号主义正式步入新阶段。
前言
Twitter上有个图片对连接主义和符号主义很形象的刻画,如下, 看上去符号主义站稳了脚跟, 但是链接主义开始挥舞起拳头。
以基于规则的系统为代表的符号主义, 正向以神经网络,统计学习为代表的链接主义转变, 同时以符号表示的表象主义向嵌入、进化、生成论方向发展。
当然, 讨论起这些主义,本身就是已经被认知科学影响了。由此可见认知科学发展所带来的变化。
一图抵千言
连接主义的代表是Rumelhart, 他和MIT的教授McClelland, 两人搞了一个PDP的杂志, 并行分布处理的杂志。 虽然是并行分布的杂志, 但却是连接主义的桥头堡。Rumelhart很不简单, 他是美国排名超前的心理学大师Estes的学生。 他所在的实验室CBC实验室更不简单,算得上是认知主义的一个源头点。
说到CBC实验室, 首先它的创立者是美国另外一个排名很前的心理学家Mandler。 接着,它后来的一把手是因发现DNA双螺旋结构而获得诺贝尔奖的Crick。 Crick受到了Hopfield网络的影响,为了这个实验室, 甚至在Natural撰文鼓吹神经网络。 当然因DNA双螺旋结构获得诺贝尔奖的Watson也不得了, Watson的老板Luria也是诺贝尔获得者,研究噬菌体。
辅助Crick的是认知学的另外一个大佬Norman, Norman后来开创了User-Centered Design, 他做到苹果的高级技术部门的VP, 对苹果公司的发展影响巨大。
如果你对Rumelhart还是不熟悉, 那么我再说几点, 他是机器学习大牛Jordan的导师(参考”乔丹上海行“)。另外,他是领头再创造BP算法的三个人的领袖。 另外一个是CBC实验室的Hinton,还有一个是发明RTRL算法的Williams。 某种意义上正是Rumelhart对BP算法的新的总结发表。 才让连接主义开始重新成为人工智能的主流。
Rumelhart 培养的学生都很赞, 他另外一个学生Glushko, 成立了好几个XML相关的公司。卖了几个后有钱了便和老婆成立了个基金会。 这个基金会在Rumelhart去世后建立了Rumelhart 大奖来奖励对连接主义有贡献的人。 第一次就奖励给了Hinton。
我们知道Hinton本人就是认知科学家Christopher的学生。 所以总得来说,连接主义兴起,是受到了认知科学, 生物学发展, Hopfield网络的影响下的一次重新冲击。
小结
本文描述了以Rumelhart为代表的连接主义,重新在人工智能的舞台上绽放光芒!当然离不开Crick的英明的领导!
相关话题:
参考:
http://www.eucognition.org/index.php?page=summary