2019-08-09工作进展3

  1. 对比关键词没有权重的dssm模型的效果

train_query : hs_dssm_dic_query_1 - | id | words_mainse_ids | se_keyword |
train_title : hs_dssm_dic_title_3 - | id | words_mainse_ids | title |


inference_query : hs_dssm_dic_query_inf_1 - | id | words_mainse_ids | query |
inference_title : hs_dssm_dic_title_inf_1 - | id | words_mainse_ids | title |


train : hs_train_data_dssm_v2_5 : | se_keyword_mainse_ws | title_mainse_ws | label |
inference : hs_tmp_207 : | query_id | video_id | query_ws | video_ws |

drop table hs_tmp_206;
yes
create table hs_tmp_206
as select c.se_keyword_mainse_ws, d.emb as title_mainse_ws, c.label from
(select a.*, b.emb as se_keyword_mainse_ws from (select * from hs_dssm_train_v2_0)a left join (select * from hs_tmp_202)b on a.query_id == b.id)c left join (select * from hs_tmp_203)d on c.item_id == d.id;

create table hs_tmp_209 as
select c.se_keyword_mainse_ws, d.title_mainse_ws, c.label from
(select a.*, b.se_keyword_mainse_ws from (select * from hs_dssm_train_v2_0)a join (select id as query_id, search_kg:alinlp_word_embedding(hs_return_clean(se_keyword), "100", "CONTENT_SEARCH") as se_keyword_mainse_ws from hs_dssm_dic_query_1)b on a.query_id == b.query_id)c join (select id as video_id, search_kg:alinlp_word_embedding(hs_return_clean(title), "100", "CONTENT_SEARCH") as title_mainse_ws from hs_dssm_dic_title_3)d on c.item_id == d.video_id;

http://logview.odps.aliyun-inc.com:8080/logview/?h=http://service-corp.odps.aliyun-inc.com/api&p=graph_embedding&i=20190809100830603ga3ywtyi2&token=TWRROEJuNUxKWGEyK3BXTXdVTUZaZU05b21ZPSxPRFBTX09CTzoxMjkzMzAzOTgzMjUxNTQ4LDE1NjU5NTAxMTEseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL2dyYXBoX2VtYmVkZGluZy9pbnN0YW5jZXMvMjAxOTA4MDkxMDA4MzA2MDNnYTN5d3R5aTIiXX1dLCJWZXJzaW9uIjoiMSJ9

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • graph_embedding.jl_jingyan_query_related_top_query_detail...
    Songger阅读 435评论 0 0
  • set odps.sql.mapper.split.size=1;昨天工作: 重新处理数据集,给一些重要的关键词,...
    Songger阅读 288评论 0 0
  • rm -rf ../../origin_deep_cluster_odps_8.tar.gztar -cvzf ....
    Songger阅读 338评论 0 0
  • 上周五工作: 使用手肘法测试top 1w query最佳聚类类别数,但是在这一数据中,sse斜率变化不大,分析的原...
    Songger阅读 365评论 0 0
  • 昨天工作:使用类目过滤信息对dssm网络进行finetune,正样本采用的类目过滤之后剩下的数据,负样本采用的是d...
    Songger阅读 204评论 0 0

友情链接更多精彩内容