卷积神经网络
- 信号的局部连接
- 共享权重
3.降采样
4.多层网络结构
卷积神经网络的主要层次结构
1 卷积层：
卷积的输出被称作特征映射
卷积核共享权重
卷积神经网络具有稀疏交互性
2 池化层：
将邻域内语义相近的特征进行融合
常见池化操作： Max-pool Average-pool
当前一层特征组件发生位置变化或表现变化，降低当前层的表征变化
2-3个卷积层+非线性激活函数+池化层作为一个模块
一个模型含有多个这样的模块
卷积神经网络的反向传播计算和常规的深度神经网络计算一样简单
经典的卷积神经网络有：
LeNet AlexNet VGG GoogleNet ResNet DenseNet
经典的人脸识别：
FaceNet DeepFace SphereFace
循环神经网络
分布式特征表示： 发现数据之间的语义相似性
分布式特征表示
Word-embedding
将高纬词向量嵌入到一个低纬空间
用分布式特诊表示表示的较短词向量
较容易分析词与词之间的关系
Word2Vec:
- 简化的神经网络
- 输入是one-hot Vector
- 隐藏层没有激活函数，是线性单元
- 输出维度 = 输入维度 Softmax 回归
- 训练后只需要隐层的权重矩阵
- 分为 CBOW 和 Skip-gram 两种模型
word2Vec
RNN
适用于序列化输入，如语音和语言
一次处理一个输入序列元素
维护隐单元中的”状态向量“，这个向量隐式地包含过去时刻序列元素的历史信息
训练过程中反传梯度在每一个时刻会增长或下降，长时间迭代后会出现梯度爆炸或消失
一旦展开，可以把它当做一个所有层共享权值的前馈神经网络
RNN
LSTM
输入门 遗忘门 记忆单元 输出门
https://www.cnblogs.com/bonelee/p/7715131.html
无监督学习
其实平时用的很多，只是不知道而已哈哈
无监督学习
强化学习
通常用马尔科夫决策过程来描述
待学。。。
GAN
生成器和鉴别器
