学习笔记：RNN

卷积神经网络RNN

RNNCell

$h_{t-1}$ 是上一时刻的状态，大小为：hidden_size * hidden_size。
$x_t$ 是当前时刻的输入,大小为：hidden_size * input_size
得到的结果大小是hidden_size
将上一时刻的状态和当前时刻的输入经过线性变化，然后通过激活函数
由于在激活函数之前，其实就是线性变换，因此，一般都是将 $h_{t-1}$ 和 $x_t$ 拼接，共用一个 $W$ ，即如下所示.
前面的矩阵 $W$ 的大小为hidden_size * ( hidden_size + input_size)，
后面的矩阵为：( hidden_size + input_size) * 1
$W_{hh}h_{t-1} + W_{ih}x_t = [W_{hh} W_{ih} ]{ \left[ \begin{matrix} {h_{t-1}} \\ x_t \end{matrix} \right] }$
所以确定一个RNNCell只需要两个值。
在pytorch中，数据默认第一个维度是batch_size，因此输入数据维度为：batch_size * input_size，隐藏层维度为：batch_size * hidden_size

cell = torch.nn.RNNCell(input_size=input_size,hidden_size=hidden_size)
hidden = cell(input, hidden)

我们的输入的维度一般是：seq_Len * batch_size * input_size，seqLen就是序列长度，RNNCell会一个一个的取出来进行输出

batch_size = 1
seq_len = 5
input_size = 4
hidden_size = 2
cell = nn.RNNCell(input_size=input_size, hidden_size=hidden_size)
dataset = torch.randn(seq_len, batch_size, input_size)
hidden = torch.zeros(batch_size, hidden_size)
for idx, inputs in enumerate(dataset):
    print('='*20, idx, '='*20)
    print('inputs shape:{0}|'.format(inputs.shape))
    
    hidden = cell(inputs, hidden)
    print('hidden shape:{0}'.format(hidden.shape))
    print(hidden)
# 输出如下：
==================== 0 ====================
inputs shape:torch.Size([1, 4])|
hidden shape:torch.Size([1, 2])
tensor([[ 0.5790, -0.7934]], grad_fn=<TanhBackward>)
==================== 1 ====================
inputs shape:torch.Size([1, 4])|
hidden shape:torch.Size([1, 2])
tensor([[ 0.6467, -0.4657]], grad_fn=<TanhBackward>)
==================== 2 ====================
inputs shape:torch.Size([1, 4])|
hidden shape:torch.Size([1, 2])
tensor([[0.2735, 0.6325]], grad_fn=<TanhBackward>)
==================== 3 ====================
inputs shape:torch.Size([1, 4])|
hidden shape:torch.Size([1, 2])
tensor([[0.0558, 0.4998]], grad_fn=<TanhBackward>)
==================== 4 ====================
inputs shape:torch.Size([1, 4])|
hidden shape:torch.Size([1, 2])
tensor([[-0.1049, -0.4924]], grad_fn=<TanhBackward>)