本来今天还想说试试昨天刚弄的代理池，去爬下链家上面的房源信息，结果今天突然发现，链家的反爬虫没有啦~~

哎呀，露点了

赶紧上scrapy,把上面的在售房源信息撸下来。

其实很简单的爬虫，用框架有点大材小用了，不过真的比普通多进程快好多呀，作为一个老男人，快既是追求，也是必然！

至于scrapy的设置，就settings里打开了default request headers和item-pipeline，关闭了robots协议，pipelines里面复制了别人的代码，还是用mongodb存数据。

distinfo.csv 和log.txt 用来存些需要用的信息，好像可以设置middlewares，可是呢，我不会。。。

import pymongo

class SzlianjiaPipeline(object):
    collection_name = 'sz_onsale'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.collection_name].update({'房屋链接':item['房屋链接']},dict(item),True)
        return item

【丝路在哪里】

反正scrapy的爬虫设计就是一层一层往下爬，咱就从首页开始，先获取区域链接，

     def parse_dist(self,response):
        dists = response.xpath('//div[@data-role="ershoufang"]/div/a/@href').extract()
        for dist in dists:
            url = 'https://sz.lianjia.com'+dist
            yield scrapy.Request(url,self.parse_small_dist,dont_filter=True)

再获取小区域链接，

    def parse_small_dist(self,response):
        small_dists = response.xpath('//div[@data-role="ershoufang"]/div[2]/a/@href').extract()
        for small_dist in small_dists:
            url = 'https://sz.lianjia.com' + small_dist
            if url not in self.dists_list:
                self.dists_list.append(url)
                yield scrapy.Request(url,selfs.parse_dist_house_page,dont_filter=True)

因为大区中的小区域还有部分重复了，建了个self.dists_list列表用来排重，减少需要爬取的页面。

获取小区域页码总数，

    def parse_dist_house_page(self,response):
        total_dist_house = int(response.xpath('//h2[@class="total fl"]/span/text()').extract()[0])
        if total_dist_house >0:
            page_info = response.xpath('//div[@class="page-box house-lst-page-box"]/@page-data').extract()[0]
            page_dic = json.loads(page_info)
            page_num = page_dic.get('totalPage')
        else:
            page_num = 0
        url = response.url
        log_info = '区域链接:  '+url+'      区域二手房总数:  '+str(total_dist_house)+'      区域二手房页数:  '+str(page_num)+'\n'
        with open('log.txt','a+') as f:
            f.write(log_info)
        distinfo = url+','+str(total_dist_house)+','+str(page_num)+'\n'
        with open('distinfo.csv','a+') as f:
            f.write(distinfo)
        if page_num > 0:
            for i in range(1, page_num + 1):
                url = response.url + 'pg' + str(i) + '/'
                yield scrapy.Request(url, callback=self.parse_dist_page, dont_filter=True)

奇了怪了居然有2个小区域中没有房源，还的带个判断。log.txt用来存些错误信息。distinfo.csv用来存每个小区域的房源数，爬完了再来对下有没有漏。

获取小区域中每一页中的房源链接，

    def parse_dist_page(self,response):
        urls = response.xpath('//ul[@class="sellListContent"]/li/a/@href').extract()
        for url in urls:
            yield scrapy.Request(url,callback=self.onsale_page,dont_filter=True)

终于爬到最后一层了，获取每个房源的详细信息。

 def onsale_page(self,response):
        item = SzlianjiaItem()
        soup = BeautifulSoup(response.text, 'lxml')
        title = soup.select('div.title h1')[0].text
        price = float(soup.select('span.total')[0].text) if soup.select('span.total') else ''
        unitprice = float(soup.select('span.unitPriceValue')[0].text.rstrip('元/平米')) if soup.select(
            'span.unitPriceValue') else ''
        houseID = soup.select('div.houseRecord span.info')[0].text.rstrip('举报') if soup.select(
            'div.houseRecord span.info') else ''
        xiaoqu = soup.select('div.communityName a')[0].text if soup.select('div.communityName a') else ''
        infos = [i.text for i in soup.select('div.introContent div.content ul li')]
        info = {}
        for i in infos:
            key = i[:4]
            data = i[4:]
            info[key] = data
        info['标题'] = title
        info['总价'] = price
        info['单价'] = unitprice
        info['链家编号'] = houseID
        info['小区'] = xiaoqu
        info['房屋链接'] = response.url
        info['建筑面积'] = float(info['建筑面积'].rstrip('㎡')) if '㎡' in info['建筑面积'] else ''
        info['套内面积'] = float(info['套内面积'].rstrip('㎡')) if '㎡' in info['套内面积'] else ''
        info['挂牌时间'] = datetime.datetime.strptime(info['挂牌时间'],'%Y-%m-%d') if info['挂牌时间'] != '暂无数据' else ''
        for key in info.keys():
            if info[key] != '暂无数据':
                item[key] = info[key]
            else:
                item[key] = ''
        yield item

前面几层都是用xpath解析，比较简单，不需要引进额外的包，我对xpath还不是很熟，正好用来练手不过最后一层太多字段了，想偷个懒，就用更熟练的美丽汤来解析，顺便改下某些字段的类型，方面以后处理。

结果

最后爬下来，获取了25800个房源信息，可是。。。

不开心！！！

完美主义害死人啊！

先这样了，明天接着改。

后续计划

把所有小区信息爬下来。
把所有已售房屋信息爬下来。
分析。
买房！
ヽ(^Д*)/.✨哈哈