2019-08-29工作进展

  1. 尝试使用关键字对应的方式进行query和title的对应,可以得到非常准确的结果,关联到的query有8127条,商品有18.8w条,其中有2496条query关联到的商品超过90条,这些query与商品的关联完全可以通过这种方式来进行。4345条query对应的商品数量超过30条,这些query可以通过这种方式得到最相近的title,其他的结果可以通过dssm的方式得到。其他的query只能使用神经网络的方式进行对应。结果在hs_tmp_339中。

  2. | query_id | query_ws | video_id | video_ws |

inference_query : hs_dssm_dic_query_inf_7 - | query_id | query |
hs_dssm_dic_query_inf_11 : | id | query_emb |
inference_title : hs_dssm_dic_title_inf_10 - | item_id | title |
hs_dssm_dic_title_inf_14 : | id | title_emb |

create table hs_tmp_341 as select
c.query_id, c.query_emb as query_ws, c.title_id as video_id, d.title_emb as video_ws from
(select a.*, b.query_emb from hs_tmp_336 a join hs_dssm_dic_query_inf_11 b on a.query_id = b.id)c join hs_dssm_dic_title_inf_14 d on c.title_id = d.id;

create table hs_tmp_345 as select c.query, d.title, c.query_id, c.video_id from
(select a.*, b.query from (select * from hs_dssm_result_5 where score = 1)a join hs_dssm_dic_query_inf_7 b on a.query_id = b.query_id)c join hs_dssm_dic_title_inf_10 d on c.video_id = d.item_id;

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 昨天工作: 将图片数据中不重要的剔除,剩下7000+w张商品图片,特征提取程序还在进行; 对dssm程序的训练集中...
    Songger阅读 559评论 0 0
  • 昨天工作:在dssm网络的基础上增加了self attention模块。构造训练测试数据。网络训练效果较修改前有所...
    Songger阅读 2,118评论 1 0
  • set odps.sql.mapper.split.size=1;昨天工作: 重新处理数据集,给一些重要的关键词,...
    Songger阅读 1,805评论 0 0
  • 考虑的问题:(1) 假如query就只有一个品类关键词,那么使用关键词替换这种方式就是不合理的,这种情况应该怎么办...
    Songger阅读 1,873评论 0 0
  • mvdssm训练集生成 pai -name tensorflow140 -Dscript="file:///hom...
    Songger阅读 1,184评论 1 0

友情链接更多精彩内容