项目需求:
结构化的目的:由于文档、query中的信息都是参数化是人可读,但机器不方便机器自动化处理,所以需要结构化。——结构化,为特征工程提供输入。经过特工程,就可以喂给模型进行训练了。
所谓结构化,是将原本不规整的数据,转换成规整的数据。例如:10万公里->10;1_2->102;parameter110:13->13;
需求分析:
1. 结构化的数据源,有HBASE ;OlineDB 。——数据内容分:doc数据;类目表、地域表等数据。
2.满足分布式;与多线程 两种场景
3.多个类目,三端app pc m
4. 复用;解耦;方便测试——分布式场景,一般不方便测试
5.类似业务,架构统一,方便维护
6.配置简单
方案设计:
目录结构设计:
架构图:
类图:
时序图: