jieba分词

jieba分词，很好的中文分词库。前一段时间我用它来检测网页的敏感词。
遇到几个问题，记一下。

辣妈比美

我的敏感词库里面，‘妈比’是个敏感词。将敏感词库（TXT）导入结巴的辞典，分词结果为辣妈，妈比，比美，很尴尬

不要用json

我先用scrapy将网页内容抓取下来存入HBASE，然后从HBASE中取出网页内容，BeautifulSoup提取文本并进行分词。后来因为一些编码问题，我在scrapy的pipeline中将网页的html转换成json格式并入库，导致分词失败。
json格式分出来的词是这样的，比如中文字\u4f60\u597d，会被分成\,u,4,f,6,0,\,u,5,9,7,d

flag=ad

我在程序中把广告词的flag（词性）记为ad，结果造成很多误判，查询jieba的dict.txt我发现原来ad这个flag已经被用过了，例如仔细 2997 ad

Scrapy爬虫编码

用Python2最蛋疼的就是编码，爬中文网页最蛋疼的就是编码，最最蛋疼的就是用Python2代码统一爬各种编码的中文站。Scrapy的Python2版本有时抓取gb2312这类编码的网站会爆UnicodeDecodeError。
比较彻底的解决办法使用Python3的Scrapy。

Python3!Python3!

最近在把代码向Python3迁移。整体感觉Python3对各种数据格式的转换更加规范，不规范的直接报错，而不是给你来个默认的转换规则。最近看的O'Relly的书，讲Python的，已经没有用Python2做示例代码的了。
也许多年后的某天，我会回想起坐在ThinkPad前的那个下午，那时候讲Python，还有两个版本呢。