神经网络与深度学习（一）：人工神经元的诞生

疫情当前，在家也不能忘记学习。最近，我老是埋怨自己选专业时，为什么没有选择医护类专业，导致自己只能眼睁睁的看医护战士在一线战斗，自己却有心无力。转念一想，国家的发展是方方面面的，即使现在不在一线战斗，咱也可以为民族出一份力：在家呆着，打好基本功，待到疫情过去，为民族经济发展奉献自己的一份力。

回到今天的题目上来，为什么会为神经网络与深度学习开辟一个专题来写？一是因为这确实是现在科技的基础建设之一，作为互联网人，必须掌握好它；二是因为这个概念被炒得太热，很多新媒体在宣传的时候，只宣传它强大的功能，而很少介绍其“枯燥乏味的原理”，因为这往往会吓退绝大多数人。事实上，能普遍应用的技术，其原理都不难理解，这个大家可以理解吧？所以，为了不让大家望而却步，这个系列的专题重点在于讲清楚该领域的核心概念，帮助大家理解，而不是直接摆公式，摆证明。

首先解释两个词

神经网络：一种受生物启发编程范式，让计算机从观测数据中学习。

深度学习：利用神经网络学习的众多技术的集合。

所以开辟该专题的目的只有两个：一是介绍神经网络这种变成范式，二是介绍深度学习里的技术。

人工神经元

感知器：权衡依据来做出决策的方法，依据是输入变量，决策是数据变量，权衡是权重与阈值，所以感知器的策略就是非显示的学习权重和阈值来做出决策。

感知器

复杂感知器

S形神经元：S 型神经元和感知器类似，但是被修改为权重和偏置的微⼩改动只引起输出的微⼩变化。

Q:为什么需要具备这样的特性？

A:因为学习算法的设计假设是如果对权重（或者偏置）的微⼩的改动真的能够仅仅引起输出的微⼩变化，那可以利⽤这⼀事实来修改权重和偏置，让学到的网络能够表现得像我们想要的那样。

Q：什么是S形神经元？

A：S形取名字决策函数是S形函数

S 形神经元

Q:为什么S形神经元具备这样的特性？

A：S形函数的平滑特性，正是关键因素，⽽不是其细部形式。它的平滑意味着权重和偏置的微⼩变化，即 ∆wj 和 ∆b，会从神经元产⽣⼀个微⼩的输出变化 ∆output。实际上，微积分告诉我们∆output 可以很好地近似表⽰为：

$∆output ≈\sum\nolimits_{j}\frac{∂ output}{∂ wj} ∆wj +\frac{∂ output}{∂b}∂b ∆b$

S 形函数的形状

练习【自行思考，无需证明】

• S 型神经元模拟感知器，第⼀部分

假设我们把⼀个感知器⽹络中的所有权重和偏置乘以⼀个正的常数，c > 0。证明⽹络的⾏

为并没有改变。

• S 型神经元模拟感知器，第⼆部分

假设我们有上题中相同的设置——⼀个感知器⽹络。同样假设所有输⼊被选中。我们不需

要实际的输⼊值，仅仅需要固定这些输⼊。假设对于⽹络中任何特定感知器的输⼊ x，权

重和偏置遵循 w · x + b = 0。现在⽤ S 型神经元替换所有⽹络中的感知器，并且把权重和

偏置乘以⼀个正的常量 c > 0。证明在 c → ∞ 的极限情况下，S 型神经元⽹络的⾏为和感

知器⽹络的完全⼀致。当⼀个感知器的 w · x + b = 0 时⼜为什么会不同？

最后编辑于：2020.02.07 14:12:49