缘起

过年了,在家有点乏味。因为放假之前在写爬虫，于是复习下scrapy框架。
nga是一个游戏玩家社区，爬一些回帖评论，分析下哪些人是shuijun

亮点

• 替换重定向中间件,非200请求存储后下次运行时自动加入爬取
• 自定义了多个流水线清洗数据
• 流水线针对爬虫单独配置，互相独立
• 增加了代理ip中间件
• 自定义redis存储数据,每次运行结果以日期存储,避免覆盖
• 自定义json序列化,保持中文不转成unicode
• 通过cookie模拟登录
• 练习了多个选择器css,xpath
• jieba 分词库的使用
• Python的图表库学习,绘制柱形图
• scrapyd和scrapydweb的学习
• 容器部署爬虫

统计

最终数据统计

• 帖子数 10889
• 评论数 155083
• 用户数 16635

分析

• 词云

  
  
  0-词云.png

20099词云.png

• 词频
  出现最多的前10个词汇

一个 7758
就是 6816
可以 5789
这个 5018
战士 4693
现在 4571
不是 4472
什么 4472
没有 4395
自己 4091

• 全局发帖时间分布-柱形图

0.png

• 单个用户评论时间分布

  
  
  27353.png

代码地址

https://github.com/jsRuner/ngaspider

镜像

docker pull doudouchidou/scrapydweb:v1
docker pull doudouchidou/scrapyd_logparser:v1