早年学者发现几乎所有的图片碎片都可以由64种正交的边组合得到。自编码（AutoEncoder），顾名思义即可以使用自身的高阶特征编码自己。自编码器其实也是一种神经网络，他的输入输出是一致的，他借助稀疏编码的思想，目标是使用稀疏的一些高阶特征重新组合来重构自己。因此，他的特征非常明显：第一、期望输入/输出一致；第二，希望使用高阶特征来重构自己，而不是复制像素点
自编码器通常希望使用少量稀疏的高阶特征来重构输入，所以加入以下限制：
①限制中间隐含层节点的数量，比如让中间隐含层节点的数量小于输入/输出节点的数量；
②如果给数据加入噪声，那么就是Denoising AutoEncoder（去燥自编码器），我们可以从噪声中学习出数据的特征
下面我们实现最具代表性的去噪自编码器
首先我们导入各种库和数据集：

import numpy as np
import sklearn.preprocessing as prep
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

然后使用自编码器xavier initialization。“如果深度学习模型的权重初始化得太小，那信号将在每层间传递时逐渐缩小而难以产生作用。但如果权重初始化太大，那信号将在每层传递时逐渐放大并导致发散和实效。”该初始化器让权重满足0均值，同时方差为2/(nin+nout)，分布可以用均匀分布或者高斯分布。下面代码实现（fan_in是输入节点的数量，fan_out是输出节点的数量）：

def xavier_init(fan_in, fan_out, constant = 1):
    low = -constant * np.sqrt(6.0 / (fan_in + fan_out))
    high = constant * np.sqrt(6.0 / (fan_in + fan_out))
    return tf.random_uniform((fan_in, fan_out),
                             minval = low, maxval = high,
                             dtype = tf.float32)

下面我们就开始定义一个去噪自编码的class。下来看看构建函数。init函数包含这样几个输入：n_input（输入变量）、n_hidden（隐含层节点数）、transfer_function（隐含层激活函数，默认为softplus）、optimizer（优化器，默认为Adam）、scale（高斯噪声系数，默认为0.1）：

class AdditiveGaussianNoiseAutoencoder(object):
    def __init__(self, n_input, n_hidden, transfer_function = tf.nn.softplus, optimizer = tf.train.AdamOptimizer(),
                 scale = 0.1):
        self.n_input = n_input
        self.n_hidden = n_hidden
        self.transfer = transfer_function
        self.scale = tf.placeholder(tf.float32)
        self.training_scale = scale
        network_weights = self._initialize_weights()#初始化参数
        self.weights = network_weights

接下来定义网络结构。x加上了噪声，并且用matmul与隐含层权重w1相乘，并加上偏置量b1，最后使用激活函数处理。最后进行重建操作：

        # model
        self.x = tf.placeholder(tf.float32, [None, self.n_input])
        self.hidden = self.transfer(tf.add(tf.matmul(self.x + scale * tf.random_normal((n_input,)),
                self.weights['w1']),
                self.weights['b1']))
        self.reconstruction = tf.add(tf.matmul(self.hidden, self.weights['w2']), self.weights['b2'])

接下来定义自编码器的损失函数。直接使用平方误差作为cost，即用tf.subtract计算输出输入只差，然后计算平方，最后使用tf.reduce_sum求和即可得到平方误差：

        # cost
        self.cost = 0.5 * tf.reduce_sum(tf.pow(tf.subtract(self.reconstruction, self.x), 2.0))
        self.optimizer = optimizer.minimize(self.cost)

        init = tf.global_variables_initializer()
        self.sess = tf.Session()
        self.sess.run(init)

接下来看看参数初始化程序_initialize_weights，先创建一个名为all_weights的字典dict，然后将各参数全部存入其中，最后返回all_weights。

    def _initialize_weights(self):
        all_weights = dict()
        all_weights['w1'] = tf.Variable(xavier_init(self.n_input, self.n_hidden))
        all_weights['b1'] = tf.Variable(tf.zeros([self.n_hidden], dtype = tf.float32))
        all_weights['w2'] = tf.Variable(tf.zeros([self.n_hidden, self.n_input], dtype = tf.float32))
        all_weights['b2'] = tf.Variable(tf.zeros([self.n_input], dtype = tf.float32))
        return all_weights

下面定义计算损失cost及执行一步训练的函数partial_fit，包括噪声系数scale和输入数据x：

    def partial_fit(self, X):
        cost, opt = self.sess.run((self.cost, self.optimizer), feed_dict = {self.x: X,
                                                                            self.scale: self.training_scale
                                                                            })
        return cost

我们也需要一个只求损失cost的函数calc_total_cost，这里就只让Session执行一个计算图节点self.cost，传入的参数和前面的partial_fit一致：

    def calc_total_cost(self, X):
        return self.sess.run(self.cost, feed_dict = {self.x: X,
                                                     self.scale: self.training_scale
                                                     })

我们还定义了transform函数，它返回自编码隐含层的输出粗结果，目的是提供一个接口来获取抽象后的特征，自编码器的隐含层的最主要功能就是学习出数据中的高阶特征：

    def transform(self, X):
        return self.sess.run(self.hidden, feed_dict = {self.x: X,
                                                       self.scale: self.training_scale
                                                       })

我们再定义generate函数，它将隐含层的输出结果作为输入，通过之后的重建层将提取到的高阶特征复原为原始数据。这个接口和前面的transform正好将整个自编码器拆分为两部分：

    def generate(self, hidden = None):
        if hidden is None:
            hidden = np.random.normal(size = self.weights["b1"])
        return self.sess.run(self.reconstruction, feed_dict = {self.hidden: hidden})

接下来定义reconstruct函数，它整体运行一遍复原过程，包括提取高阶特征和通过高阶特征复原数据：

    def reconstruct(self, X):
        return self.sess.run(self.reconstruction, feed_dict = {self.x: X,
                                                               self.scale: self.training_scale
                                                               })

getWeight函数作用是获取隐含层权重w1，getBiases则是获取偏置系数b1：

    def getWeights(self):
        return self.sess.run(self.weights['w1'])

    def getBiases(self):
        return self.sess.run(self.weights['b1'])

接下来使用定义好的AGN自编码器在MNIST数据集上进行一些简单的性能测试，看看模型对数据的复原模型究竟如何。接下来依然使用MNIST数据集：

mnist = input_data.read_data_sets('MNIST_data', one_hot = True)

先定义一个标准化函数，0均值，标准差为1。使用sklearn.preprossing的StandardScaler这个类，先在训练集上进行fit，再将Scaler用到训练数据和测试数据上：

def standard_scale(X_train, X_test):
    preprocessor = prep.StandardScaler().fit(X_train)
    X_train = preprocessor.transform(X_train)
    X_test = preprocessor.transform(X_test)
    return X_train, X_test

然后定义一个获取随机block数据的函数。属于不放回抽样，提高数据利用率：

def get_random_block_from_data(data, batch_size):
    start_index = np.random.randint(0, len(data) - batch_size)
    return data[start_index:(start_index + batch_size)]

使用之前定义的standard_scale函数对训练集、测试集进行标准化变换

X_train, X_test = standard_scale(mnist.train.images, mnist.test.images)

接下来定义几个常用参数，总训练样本数，最大训练的轮数（epoch）设为20，batch_size设为128，并设置每隔一轮就显示一次cost：

n_samples = int(mnist.train.num_examples)
training_epochs = 20
batch_size = 128
display_step = 1

创建一个AGN自编码器的实例，定义模型输入节点数n_input为784，自编码器的隐含层节点数n_hidden为200，隐含层激活函数transfer_funcntion为softplus，优化器optimizer为Adam且学习速率为0.001，同时将噪声的系数scale设为0.01：

autoencoder = AdditiveGaussianNoiseAutoencoder(n_input = 784,
                                               n_hidden = 200,
                                               transfer_function = tf.nn.softplus,
                                               optimizer = tf.train.AdamOptimizer(learning_rate = 0.001),
                                               scale = 0.01)

下面开始训练。每一轮迭代后，显示当前的迭代数和这一轮迭代的平均值cost。
最后，对训练完的模型进行性能测试，这里使用之前定义的成员函数cal_total_cost对测试集X_test进行测试，评价指标依然是平方误差，如果使用示例中的参数，损失值约为60万：

print("Total cost: " + str(autoencoder.calc_total_cost(X_test)))

输出结果如下：

In [9]: runfile('D:/test/1/2.py', wdir='D:/test/1')
Extracting MNIST_data\train-images-idx3-ubyte.gz
Extracting MNIST_data\train-labels-idx1-ubyte.gz
Extracting MNIST_data\t10k-images-idx3-ubyte.gz
Extracting MNIST_data\t10k-labels-idx1-ubyte.gz
Epoch: 0001 cost= 19079.046284091
Epoch: 0002 cost= 12443.899851136
Epoch: 0003 cost= 11369.242384091
Epoch: 0004 cost= 10209.369364773
Epoch: 0005 cost= 9329.726764205
Epoch: 0006 cost= 9084.740830114
Epoch: 0007 cost= 8785.537941477
Epoch: 0008 cost= 10109.482121591
Epoch: 0009 cost= 8932.538738636
Epoch: 0010 cost= 8155.896742614
Epoch: 0011 cost= 8972.419780114
Epoch: 0012 cost= 8146.705165341
Epoch: 0013 cost= 8491.310953977
Epoch: 0014 cost= 8137.342896023
Epoch: 0015 cost= 7343.706534091
Epoch: 0016 cost= 7659.225645455
Epoch: 0017 cost= 7785.797848864
Epoch: 0018 cost= 8199.818533523
Epoch: 0019 cost= 7842.676293182
Epoch: 0020 cost= 8134.683754545
Total cost: 629853.0

自编码器作为一种无监督学习，它不是对数据进行聚类，而是提取其中最有用、最频繁出现的高阶特征，根据这些高阶特征重构数据

多层感知机简介
上一章的Softmax回归模型，简单易用，但是拟合能力不强。SR可以算是多分类问题logistic regression，没有隐含层。隐含层越多，越容易拟合复杂函数。有理论表面，随着隐含层的数量增多，隐含节点数指数下降。但是实际使用中，容易过拟合，参数难以调试，梯度弥散等等。
Dropout：在训练时，将神经网络某一层输出节点数据随机丢弃一部分。实质上等于创造出很多新的随机样本，通过增大样本量、减少特征数量来防止过拟合
SGD参数本身也不是稳定的算法，通常并不指望达到最优解，但是全局最优解反而容易过拟合
梯度弥散（Gradient Vanishment）是另一个影响深层神经网络训练的问题。在神经网络训练时，可以将重要特征置于中央区，将非重要特征置于两侧区。但是当神经网络层数较多时，Sigmoid函数在反向传播中梯度值会逐渐减小，经过多层的传递后悔呈指数级急剧减小。ReLU，x≤0时，y=0，＞0时，y=x，类似于大脑的阈值响应机制。主要变化：①单侧抑制；②相对宽阔的兴奋边界；③稀疏激活性。当然神经网络的输出层一般都还是Sigmoid函数，因为它最接近概率输出分布
隐含层的一个代表性的功能是可以解决XOR问题
TensorFlow实现多层感知机
首先载入TensorFlow并加装MNIST数据集：

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
sess = tf.InteractiveSession()#默认Session

输出层的Softmax，直接将权重和偏置设为0（Sigmoid在0附件最敏感，梯度最大）：

in_units = 784#输入节点数
h1_units = 300#输出节点
W1 = tf.Variable(tf.truncated_normal([in_units, h1_units], stddev=0.1))#隐含层权重
b1 = tf.Variable(tf.zeros([h1_units]))#偏置
W2 = tf.Variable(tf.zeros([h1_units, 10]))
b2 = tf.Variable(tf.zeros([10]))

Dropout的比率keep_prob（即保留节点的概率）是不一样的，通常在训练时小于1，而预测时则等于1：

x = tf.placeholder(tf.float32, [None, in_units])
keep_prob = tf.placeholder(tf.float32)

首先定义隐含层hidden1，接下来实现Dropout功能，即随机将一部分节点置为0，这里的keep_prob参数即为保留数据而不置为0的比例，在训练时该小于1，用以制造随机性，防止过拟合；在预测是应该等于1，即使用全部特征来预测样本类别。最后的输出层的Softmax：

hidden1 = tf.nn.relu(tf.matmul(x, W1) + b1)
hidden1_drop = tf.nn.dropout(hidden1, keep_prob)
y = tf.nn.softmax(tf.matmul(hidden1_drop, W2) + b2)

接下来进行第二步，定义损失函数和选择优化器来优化loss，这里的损失函数继续使用交叉信息熵，继续使用优化器Adagrad，并把学习速率定为0.3：

# Define loss and optimizer
y_ = tf.placeholder(tf.float32, [None, 10])
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))
train_step = tf.train.AdagradOptimizer(0.3).minimize(cross_entropy)

然后进行第三步，训练。我们加入keep_prob作为计算图的输入，并在训练时设为0.75，即保留75%的节点，其余的25%置为0。一共5轮（epoch）迭代。如果增加循环次数，准确率会略有提高：

# Train
tf.global_variables_initializer().run()
for i in range(3000):#batch数
  batch_xs, batch_ys = mnist.train.next_batch(100)#样本数
  train_step.run({x: batch_xs, y_: batch_ys, keep_prob: 0.75})

下面是预测部分。因为是预测部分，所以keep_prob=1：

# Test trained model
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))#返回最大的值所在坐标
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(accuracy.eval({x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))

最终，我们取得了98%的准确率，仅仅依靠一个隐含层就实现了，可见神经网络的效果会有多显著
隐含层输出的高阶特征（组件）经常是可以服用的，所以每一类的判别、概率输出都共享这些高阶特征，而不是各自连接独立的高级呃呃特征