作业内容：选择你感兴趣的方向，编写一个小型的爬虫程序。
老喜欢和菜头了，来爬一下他的公众号文章吧。从传送门进去，爬取所有的文章列表、发表时间和链接。
代码部分：
用scrapy来做吧，省事一点。
新建项目：scrapy startproject bitsea
- item.py
import scrapy
class BitseaItem(scrapy.Item):
title = scrapy.Field()
timestamp = scrapy.Field()
articleUrl = scrapy.Field()
-
parse程序：article.py
有两个问题：
这个传送门的网址直接爬取的话，会403Forbidden。开始不知道为什么，折腾了好多遍，才看到403的提示。所以加上了header和cookie，之后可以读取到网页数据了。
页数比较多，爬到一半出现503错误。好像是因为操作太频繁。于是加了个时间间隔，终于能完整的爬下来了。
from scrapy.spider import Spider from scrapy.selector import Selector from scrapy.http import Request import time from bitsea.items import BitseaItem class bitsea(Spider): name = "bitsea" #allowed_domains = ['chuansong.me/'] headers = { "Accept":'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', "Accept-Encoding":'gzip, deflate, sdch', "Accept-Language":'zh-CN,zh;q=0.8', "Cache-Control":'max-age=0', "Connection":'keep-alive', "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36' } cookies = { 'BDTUJIAID' : '5ac91e7d81da8df68542b83635f53043', 'Hm_lvt_9d416cb1bdca85038c8810fc14eeee57' : '1481620340,1482893943,1482975103,1482975314', 'Hm_lpvt_9d416cb1bdca85038c8810fc14eeee57' : '1482977629', '__utmt' : '1', '__utma' : '240057436.12323463.1473405823.1482975103.1482975314.8', '__utmb' : '240057436.3.10.1482975314', '__utmc' : '240057436', '__utmz' : '240057436.1482975314.8.2.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided)' } def start_requests(self): return [Request("http://chuansong.me/account/bitsea", cookies = self.cookies, headers = self.headers)] def parse(self, response): for art in response.xpath('//div[@class="pagedlist_item"]'): yield { 'title': art.xpath('.//a[@class="question_link"]/text()').extract_first().strip(), 'timestamp': art.xpath('.//span[@class="timestamp"]/text()').extract(), 'articleUrl': art.xpath('.//a[@class="question_link"]/@href').extract() } time.sleep(0.5) next_page = response.xpath('//div[@class="w4_5"]/a[@style="float: right"]/@href').extract() if next_page is not None: next_page = 'http://chuansong.me'+next_page[0] yield Request(next_page, callback=self.parse, cookies = self.cookies, headers = self.headers)
结果输出：
一共六七百篇文章，截一部分图出来吧。
作死小记：
本来打算把文章内容爬下来修改成markdown格式，结果就个标题就折腾了一天。爬虫伤身，注意安全。
后来把time.sleep()改小了一点，被人家的反爬虫机制检测到了应该是，我的IP被封了。又厚颜无耻的去请人家解除掉。
