首先需要分析出影响商品标准的因素,比如以下几点(需要根据自身的业务和需求提炼),可以作为影响商品的主要因素:
1:商品名称和商品通用名称
2:商品条码
3:商品规格
4:商品包装
5:商品批准文号
6:商品生产厂家
总结出影响标准数据的因素,就可以针对每个因素做标准化处理(需用根据自身的业务和需求处理),比如可以进行以下处理:
1:全部转为小写
2:移除两边的空白,换行符,无意义的特殊符号
3:全角转半角
4:移除括号内的内容
5:对于特定词字符进行统一标准,进行替换。比如规格中的,毫克,克,可以统一替换为mg,g
6:分词按照规则重组,比如商品规格中的,每片重8g,可以重组为8g/片