2018 8 28
强化学习
放弃了 先研究CNN，之后RNN，最后有精力再学RF
在决策已知的情况下，状态s时期望的rewards
在决策已知的情况下，状态s时采取a行为期望的rewards
方法优化与硬件
牺牲少量精确度来大大减少计算量
- prune 删减链接方法：设一个阈值，小参数，直接设为0（不参与以后的所有计算）
-
weight sharing
参数不要那么多、那么精确。对一组参数，人为把参数K均值为2^bit个。用于表示的数字是bit长度，其对应centroids的id,centroids上的数是正常精度的。
对于cluster index,我们还可以用哈夫曼编码继续优化，减少存储空间
weights采用K均值选择，K人为选定
gradient取累加而不是平均
对已经训练好的大网络做参数共享。共享后再训练，发现已经处于稳定状态。
-
用1x1卷积 缩减参数(在压缩网络前，优化计算量的方法)
没有进行压缩处理（参数共享、减连接），只是进行squeeze,加入1*1卷积层
对于卷积，只用1,-1,0作为参数
算法优化预测
硬件优化预测
算法优化训练：
Adversarial
60%确定是熊猫的照片，添加一个人为特定计算出来的噪音之后，网络竟然99.9%认为其实长臂猿！！（猜想：那预测的时候个一个原照片分多次预测，每次都随机添加一个噪音，会不会减少这样的问题？）（再猜想：合成的图片人类觉得自然但算法觉得不自然，由此检查图片是否是合成？不可行，对于大多数添加噪声合成的图片，算法结果比较理想。如上问题是反推从A类到B类更改原图片后发现原图片几乎没有更改。）
原因解释一：可能过拟合
背景颜色为真实分布。形状为预测结果。蓝绿色为训练集，红色为预测样本且预测错误
解释二：并非过拟合，而是欠拟合
A类图片+特点噪音-》B类
左下角，右上角。没有训练数据，但我们却十分肯定左下角极大概率是X，右上角极大概率是O
- 大多数的激活函数其实都是分段线性的。
新图像生成
用预先训练好的网络。计算中间层的MSE
