小波神经网络

姓名：程祖晗

学号：19021210938

【嵌牛导读】随着优化算法的不断研究，神经网络已经深入到许多领域，解决了许多实际问题，并引发了人类不断地思考。本篇讨论了小波神经网络的相关知识。

【嵌牛鼻子】BP神经网络小波变换小波神经网络

【嵌牛正文】

BP 网络的实现过程主要分成两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层到达输出层，第二阶段是误差的反向传播，从输出层经过隐含层到达输入层。误差传递完后，依次调节输入层和隐含层之间的权值和偏置，以及隐含层和输出层之间的权值和偏置。如图1所示：

BP神经网络的神经元如图2所示：

其中，激活函数为Sigmoid函数，表达式为： $f(x)=\frac{1}{1+e^{-x}}$

2.1小波变换

小波变换是以 Fourier 分析为基础的一种新的数学变换手段，它克服了 Fourier变换的局限性以及加窗 Fourier 变换的窗口不变的缺点。小波变换主要通过伸缩和平移实现多尺度细化，突出所要处理的问题细节，有效提取局部信息。

2.2小波神经网络

小波神经网络是改进的BP网络，将原先的隐含层的Sigmiod激活函数替换为小波函数——Morlet小波，其表达式为

$\psi (x)=\cos(1.75x)e^{-\frac{x^2}{2}}$

本篇设计的4层小波神经网络的模型图如图3所示：

2.3模型的建立

a.初始化各项参数

在图3的网络设计中， $X=[x_{1},x_{2} ,……,x_{m}]^T$ 为输入样本， $Y=[y_{1},y_{2} ,……,y_{n}]^T$ 为输出样本， $m,s_{i},n$ 分别为输入层、隐含层、输出层节点， $W$ 为各节点的连接权值。

b.前向计算

隐含层1的输入为所有输入的加权和： $x_{j1}=\sum_{i=1}^mW_{ij}x_{i}$ ，隐含层1的输出为 $h_{j1}=h(\frac{x_{j1} -b_{j1} }{a_{j1}} )$ 。其余隐含层的输入输出及输出层与1类似，在此不再赘述。

c.误差反向传播

误差反向传播采用梯度下降算法调整各层间的权值，即权值修正过程。权值修正方式有两种，一是按输入样本逐次修正，二是全部样本输入后再修正。本篇采用第一种方法。

根据误差函数 $E$ 修正权值和小波因子，为了避免算法陷入局部最小值，加快其收敛速度，引入了动量因子 $\alpha$ ，学习率为 $\eta _{1} ,\eta _{2}$ ，公式分别如下表示：

总结：小波神经网络拥有小波变换的优点，避免了 BP 网络设计结构上的盲目性，但是隐含层的节点数以及各层之间的权值、尺度因子的初始化参数难以确定，会影响网络的收敛速度。在后续的学习中，可以尝试其他小波函数的神经网络，通过比较其最优结果构造小波神经网络。