doc特征结构化—query特征结构化

项目需求

结构化的目的:由于文档、query中的信息都是参数化是人可读,但机器不方便机器自动化处理,所以需要结构化。——结构化,为特征工程提供输入。经过特工程,就可以喂给模型进行训练了。

所谓结构化,是将原本不规整的数据,转换成规整的数据。例如:10万公里->10;1_2->102;parameter110:13->13;

需求分析:

1. 结构化的数据源,有HBASE ;OlineDB 。——数据内容分:doc数据;类目表、地域表等数据。

2.满足分布式;与多线程 两种场景

3.多个类目,三端app pc m 

4. 复用;解耦;方便测试——分布式场景,一般不方便测试

5.类似业务,架构统一,方便维护

6.配置简单


方案设计:

目录结构设计:

架构图:

类图:


时序图:


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容