4.深度学习之多层感知机

4.1 感知机

• 多层感知机中的特征神经元模型称为感知机

  
  

4.2 多层感知机

• 隐藏层
  • 多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。

  • 隐藏层位于输入层和输出层之间。

    
    
• 神经网络

  • 越多的神经元，就越能够表达能复杂的模型

    
    
• 多层感知机
  • 增加更多的隐藏层？
    • 与单层神经网络等价
  • 解决问题的一个方法是引入非线性变换。

    • 非线性变换函数被称为激活函数（activation function）。

      
      

4.3 激活函数

• ReLU函数
  • ReLU（rectified linear unit）函数提供了一个很简单的非线性变换。

  • 给定元素x，该函数定义为：

    
    

  • 可以看出，ReLU函数只保留正数元素，并将负数元素清零。

    
    
• sigmoid函数

  • sigmoid函数可以将元素的值变换到0和1之间：

    
    
    
    
• tanh函数

  • tanh（双曲正切）函数可以将元素的值变换到-1和1之间：