介绍:
链家对爬虫初学者来说很友好,而且只爬取北京租房信息,数据量极小。
各区房源占比
各区平均月租金和房源数量
月租金的词云
啧啧啧,不容易啊。
顺便看看代码方面,比较简陋。
环境:
Python(3.5.2)
MySQL(14) —— Navicat
IDE:pycharm
scrapy框架
因为只需要租房下的信息,所以获取url就简单很多
然后是具体字段的获取,用的是 scrapy 的 ItemLoader 。这里因为要获取 item 的 list 的第一个,所以重新定义为ArticleItemLoader。
具体字段的过滤和对应 item 的插入放在items.py里。
然后是pipelines中数据写入MySQL。
还用了selenium+chrome获取页面数据,用selenium可以获取动态数据。但也会影响爬虫性能,selenium会把scrapy的异步机制变为同步。不过这个影响对于本文爬虫并没有影响,因为数据量实在不多。
个人学习记录,文中如有出错和理解错误的地方欢迎指出。