什么是合同异？
《观念的水位》一文中提到“合同异”，据说它是战国时期名家的一个学派，其核心观点是认为“天与地卑，山与泽平”，万物看起来不同，但其实都一样。这个学派的要点就是否认量变之间的差异，进而否认了进步的可能性和必要性，最终变成了为一切落后进行辩护的诡辩学说。
作者举了一个谚语的例子来说明合同异的文化差异。西谚说，不要让“最好”成为“更好”的敌人。意思是80分不完美，60分也不完美，但不要因为80分不是100分而否认从60分进步到80分的意义。然而中谚却说：五十步怎么可以笑百步？大家不都一样逃跑了吗？
这个例子初听起来感觉挺有道理的，但又总觉得哪里不对劲。结合到最近看的深度学习视频和《费曼的彩虹》，我发现了三者之间的一些内在联系。
RELU和sigmoid函数
生物学发现，神经元都是沿着轴突将电信号从树突传到树突。现实中当受到外部刺激时，神经元不会立即反应，它先会抑制输入，直到输入增强，强大到一定程度才可以触发输出。
人工智能研究人员为了模拟这种激活效应，在经典神经网络中引入了sigmoid函数。其公式如下:
对应的曲线形式是下图这样的:
sigmoid函数可以很好的模拟激活特性，但却有一个缺点，它的饱和区域非常平缓，导致反向传播时容易梯度消失，加上求导耗时，在动辄上百万节点的深度学习中，sigmoid函数会导致网络训练无法收敛，这间接导致了神经网络研究在很长一段时间内处在无人问津的寒冬。
直到2012年，Hinton和他的学生Alex Krizhevsky搭建了一个深度神经网络模型参加ImageNet挑战赛。凭借着强大的模型加持，他们以个人之力，吊打谷歌、微软等巨头公司，一举斩获比赛冠军。此后，深度学习开始进入大众视野，人工智能的春天也随之到来。而该模型的重要改变之一，就是使用RELU函数替换sigmoid函数。
什么是RELU函数？它很简单，具体如下图所示。在副坐标轴时y值为0，在正轴时y值与x成比例放大。这种简洁的公式能同时解决饱和区域梯度消失问题以及求导复杂的问题。目前，它已经成为深度学习的主要激发函数之一。
费曼的人生观
《费曼的彩虹》一书中，作者向费曼询问的最后一个问题是，科学家职业对他的性格有什么影响？
费曼的回答中有这么一段话:“我不想从心理上剖析自己。有时候了解自己是件好事，然而有时并非如此。当你被一个笑话逗得哈哈大笑的时候，如果你思考自己大笑的原因可能就会发现它其实并没有什么意思，而且还很蠢，于是你便会止住笑声。你不应该这么做。我的原则是，如果你觉得不开心，那么就去好好想想；如果快乐的话，就不要去想。为什么要破坏它呢？我们可能会因为某些荒唐的理由开怀大笑，但是弄清楚这些理由就会令人扫兴。”
结束语
看完了三个故事，你可能一头雾水。对《观念的水位》中的评价而言，疑惑点是什么呢？上面的三件事儿又有什么共同点呢？
我觉得是方向性的差异。对于坏的方向，五十步笑百步这样相互嘲弄没什么意义；而对于好的方向，不要让最好成为更好的敌人也是在促使我们持续提升和改进。所以本质上讲，两句话看似矛盾，但实际只是它们的方向性不同。
进一步的，我们发现事实上两者还可以统一成同一个数学表达，那就是RELU函数，即对于负向输入统一拉平处理，对于正向输入则不断激发放大。
那在生活态度上呢？我们也可以这样做。对开心的事情(正向)要不去刨根问题，保持和放大快乐就对了；对于不开心的事情(负向)则要深刻剖析，动用理性识别它的本质，抑制感性和悲伤的发散。
《好好学习》里说一旦你的研究深度达到底层规律的层面，表面上看起来不相干的问题都会在底层盘根错节地联系起来。而将这些“不相干”的事情联系起来的，正是我们说的“临界知识”。这篇文章算是对于这段话的一个小小实践。
另外，也是为了快速补上前一篇发文损失，依着《观念的水位》分享一些自己的想法吧。
