2019-09-05工作进展

昨天工作:

  1. 对mv-dssm进行inference,效果参数:acc:0.704 auc:0.704 precision:0.941。分析:
    当前dssm的inference结果中最优结果:acc:0.709 auc:0.715 precision:0.945。mvdssm各项指标都稍差于dssm。分析的原因是虽然title中含有噪声,但是在预处理过程中已经将大部分噪声去掉了,而图片信息中的噪声还没有处理,这可能会有一些影响。
  2. 参考din网络中multi item attention的方式构造特征提取网络,考虑的点是尽量多的利用query各个词提供的信息,而不是将整个query作为一个embedding向量输入attention层之中。网络构造完毕,但是由于资源紧张,还没有看到效果;
  3. 阅读文章:AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks。文章提出使用multi_head self-attention的方式来进行特征交叉,是一个很好的可以在话题关联业务上借鉴的点;

今天计划:
改善mvdssm网络效果,尝试multi_head self-attention。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 昨天工作: mv-dssm效果改善:mv-dssm重新设计商品图片和title信息融合获取融合特征的attenti...
    Songger阅读 298评论 0 0
  • 昨天工作:在dssm网络的基础上增加了self attention模块。构造训练测试数据。网络训练效果较修改前有所...
    Songger阅读 299评论 1 0
  • 上周五工作: 使用品类关键词来进行dssm网络负样本的采样,在新的训练集上进行dssm网络的训练,inferenc...
    Songger阅读 245评论 0 0
  • 昨天工作: 进行转正答辩 mv-dssm训练结束,效果参数有比较小的提升:acc_ = 0.752 auc_ = ...
    Songger阅读 226评论 0 0
  • source /etc/profile mv-dssm结果:第一版:acc:0.704343652508 auc:...
    Songger阅读 262评论 0 0