一、需求
对登记纳税人的注册地址进行相似度计算，发现单个纳税人可能存在的一址多注册。
二、数据
数据来源：登记纳税人数据
数据量：百万级
部分数据展示：
纳税人注册地址
三、数据预处理
1，取数，从hive中提取数据
取数
2，去重、构造专业词库、分词、去停用词
数据预处理
四、算法
采用gensim库，gensim是一个基于Python语言的开源工具集，用于处理向量空间模型(vector space modeling)和话题模型(topic modeling)的相关问题。
1，生成了包含所有词语的词典。
2，有了前一步生成的词典，我们就可以将每个词语转化成一个索引，表示该词语在所有文档中出现的次序，然后每个文档就可以转化成一个索引的列表。
3，调用gensim中的tf-idf模块来进一步对每个单词计算权重。
4，采用了余弦相似度作为衡量指标，进行注册地址相似度计算。
五、算法应用
通过flask起算法服务，通过接口地址访问。
服务函数
六、调用结果展示
算法结果1
算法结果2
七、备注
1，由于是专业数据，停用词库最好简化，基本上每个词都有用，想要提高准确率，专业词库是必须的。
2，当数据量超百万时，gesim在计算相似度时可能存在内存错误，可以用similarities.Similarity类替换，该类存在三个参数。
3，本项目有两个脚本，一个是批量跑数脚本，另一个是服务脚本。
八、项目代码
代码结构
想要项目的两个详细脚本私聊我，加微信。
