神经网络可以看作是一个大的变分优化器：

  给定 y=f(x1, x2..., w)，求w使L(y, x..)最小

x是输入，y输出，w是网络参数，L是损失函数。

而任一函数y=f(x1, x2...)，他的实际计算过程一般而言是分步骤的，例如：

    h1=h1(x1,x2),

    h2=h2(x3,x4),

    h3=h3(h1,x2..),...

    y=f(h2,h3,x5...)

也就是说该函数存在若干中间变量。

这种计算步骤可以画成计算图。

本文想说的是，对于一个待训练的{X,Y}数据集，如果我们能通过一些方法发现最终函数f的计算图关系和中间变量，则我们的神经网络搭建和训练就会大大的简化。

那么问题来了，如何通过数据集去发现计算图呢？该问题暂按下不表。下面举一个实际计算图的例子，详情参考这里，下面简要说明：

该例子是传统rnn的升级版。传统的rnn是一个函数：S1=f(x1,S0)，Si就是时序数据在i时刻的总结，我们要求的函数是根据上一刻的总结和这一刻的输入，求出这一刻的总结（需要注意的是，若希望很远的过去的x0对现在的Si也有关的话，需要加一些约束，也就是lstm之类的）。

rnn的升级版on-lstm，是把已有的rnn计算图做了升级，加了一个中间变量r如下：

  r1=r(S0, x1)

表示S1的改写级别，比如S是1*10的张量，r1=3的意思就是本次的S1只改写前3个数，后面7个数不变跟S0一样。

加了这个以后，训练出来的结果更好了，因为这个结构是lstm的一个子集，且最优结果函数依然在该子集内。

这个思想和这一篇文章一样，当计算图足够清晰了，最优解依然在子集内的时候，优化参数w的求解就十分容易了！

本例增加了一个中间变量r，就使得相同训练集下的结果更优就是实证。

所以回到我们的问题，如何发现目标函数的计算图以及中间变量，且保证最优函数依然在子集内呢？

This is a question！