简介
- 发表于CIKM2013' ,论文地址为Learning Deep Structured Semantic Modelsfor Web Searchusing Clickthrough Data
-
模型结构
DSSM结构
优缺点
优点
- DNN部分的所有权重都是共享的
- wordhash能很好的对原始输入进行降维(500k->30k)，而且能解决一些新词的问题
- 利用了点击数据来进行有监督的训练
缺点
- DSSM采用了词袋模型，损失了上下文信息
- 无法加入更多的信息
变种
对DSSM的优化出现了很多的变种，有CNN-DSSM，LSTM-DSSM，MV-DSSM等。大多对隐藏层做了一些修改，原论文如下：
- CNN-DSSM：http://www.iro.umontreal.ca/~lisa/pointeurs/ir0895-he-2.pdf
- LSTM-DSSM：https://arxiv.org/pdf/1412.6629.pdf
- MV-DSSM：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/frp1159-songA.pdf
- 对于中文，由于常用的单字为 1.5 万左右，而常用的双字大约到百万级别了，所以这里出于向量空间的考虑，采用字向量（one-hot）作为输入，向量空间约为 1.5 万维。
实践中的优化
-百度这个做了很多优化，比如框架架构、相似计算结构等等，此外，我们还发现字粒度下有很好的泛化性，能很好的弥补词粒度输入的不足，如切词的错误和未登录词 OOV 问题。百度NLP | 神经网络语义匹配技术
- 淘宝这个优化主要在训练样本获取和模型结构上。深度语义模型以及在淘宝搜索中的应用
TODO
MV-DSSM其实是一个多模态+迁移学习，使用multi-view DNN模型构建推荐，包括app、新闻、电影和TV，相比于最好的算法，老用户提升49%，新用户提升110%。
参考链接：https://blog.csdn.net/shine19930820/article/details/78810984
