写的内容越来越多，因此做成一个系列，谢谢大家。我将定期更新相关内容：
Scrapy实战：抓取本地论坛招聘内容 (一)
Scrapy实战：抓取本地论坛招聘内容 (二)
scrapy是专用的爬虫框架，可以省却好多自己写爬虫的内容，而且速度很有保证，所以让我们用scrapy来爬取吧！
一、 分析网页结构
开工之前，先看看网页结构，我们要获取的内容.
1. 先看url
url = http://bbs.cnnb.com/forum.php?mod=forumdisplay&fid=37&filter=author&orderby=dateline&typeid=366
很明显，这是一个论坛，有五个参数,我们先一个一个删除，看看有什么变化：
mod=forumdisplay # 这是论坛显示方式，纯文字还是图片，大多数论坛都有这个，不能删除
fid=37 # 暂时不明白，我猜是论坛板块标记，不能删除
filter=author #过滤发布人，不能删除
orderby=dateline #按时间排序，时间降序，不能删除
typeid=366 # 招聘类目，不能删除
，经过测试，只要删除了其中任何一个参数，页面都不是我们想要的。我们当然要爬的不止一页，点击下一页看看有什么变化。
http://bbs.cnnb.com/forum.php?mod=forumdisplay&fid=37&filter=author&orderby=dateline&typeid=366&page=2
多了一个参数，page=2， 很明显这是控制显示第几页的。
2. 获取爬取的连接
在谷歌浏览器中，鼠标移动到上红框所选文字上，鼠标右键选择检查，或者ctrl+shift+i。
可以看到我们想要的连接在一个a标签里面。
这里我们可以使用xpath简单的提取出内容:
//th/a[2]/@href # 所有帖子的连接
3. 帖子详情内容
我们的目的是为了看招聘内容，因此除了楼主的内容，其他的不需要看。
这几个内容是我们需要的：
链接 //h1/a/@href #帖子链接，方便人工排错，也是惟一地址
标题 //*[@id="thread_subject"]/text() # 这里主要用来存储做标题
时间 //*[@class="authi"]/em/span/@title #时间太久的，可能已经招到人了，也有的会在帖子内发出，封贴，这里就简单点，不想把逻辑弄的太复杂了
内容 //td[@class="t_f"]/text() #内容是我们真正想要的，如果有时间，我们可以细分，把内容里的邮箱，电话号码单独提取出来
二、 创建爬虫工程
虽然是个小项目，自己手动写写也很快，但是为了记忆scrapy，还是选择用scrapy框架。
> scrapy startproject job #创建工程
> scrapy genspider cnnb http://bbs.cnnb.com #生成爬虫，名字叫cnnb
查看下目录结构：
可以看到在job/spiders下面有一个cnnb.py的文件了。
三、 model设置
scrapy的item是向django学习的，因此还是model的意思.
打开job/items.py文件，添加这些内容：
import scrapy
class JobItem(scrapy.Item):
link = scrapy.Field() #帖子连接
title = scrapy.Field() #标题
date = scrapy.Field() #发布日期
content = scrapy.Field() #内容
四、 爬虫主程序
打开job/spiders/cnnb.py. 我们能看到scrapy已经为我们创建好了模板，我们的工作就是在模板上进行修改。
# -*- coding: utf-8 -*-
import scrapy
class CnnbSpider(scrapy.Spider):
name = "cnnb"
allowed_domains = ["http://bbs.cnnb.com"]
start_urls = ['http://http://bbs.cnnb.com/']
def parse(self, response):
pass
构建爬虫的爬取入口：
start_urls = ['http://bbs.cnnb.com/forum.php?mod=forumdisplay&fid=37&filter=author&orderby=dateline&typeid=366&page=1']
解析内容，注意这就是scrapy框架的强大之处，我们不用关心怎么下载内容，只须要定义好从哪儿开始爬取，和解析需要的内容：
def parse(self, response):
# 解析帖子链接
links = response.xpath("//th/a[2]/@href")
这里我们可以使用scrapy提供的命令行工具，检查我们的查询条件写的是否正确：
$ scrapy shell http://bbs.cnnb.com/forum.php?mod=forumdisplay&fid=37&filter=author&orderby=dateline&typeid=366&page=1
2018-04-23 15:30:45 [scrapy.utils.log] INFO: Scrapy 1.3.3 started (bot: job)
2018-04-23 15:30:45 [scrapy.utils.log] INFO: Overridden settings: {'BOT_NAME': 'job', 'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter', 'LOGSTATS_INTERVAL': 0, 'NEWSPIDER_MODULE': 'job.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['job.spiders']} 2018-04-23 15:30:46 [scrapy.middleware] INFO: Enabled extensions:
...
[s] fetch(req) Fetch a scrapy.Request and update local objects
[s] shelp() Shell help (print this help)
[s] view(response) View response in a browser
In [1]:
输入 response.xpath("//th/a[2]/@href")
可以看到返回的是SelectorList类型，我们可以加上.exract()获取数据：
其他几个也是这样测试，就不一一说明了。现在我们的文件内容应该是这样了。
# -*- coding: utf-8 -*-
import scrapy
from items import JobItem
class CnnbSpider(scrapy.Spider):
name = "cnnb"
allowed_domains = ["http://bbs.cnnb.com"]
start_urls = ['http://bbs.cnnb.com/forum.php?mod=forumdisplay&fid=37&filter=author&orderby=dateline&typeid=366&page=1']
def parse(self, response):
# 解析帖子链接
links = response.xpath("//th/a[2]/@href").extract()
# 解析每一个连接的帖子内容
for each in links[:2]:
yield scrapy.Request(each, callback=self.parse_content)
def parse_content(self, response):
jobitem = JobItem()
jobitem['link'] = response.url
jobitem['title'] = response.xpath('//*[@id="thread_subject"]/text()').extract_first() # 这里依然可以用extract(),不过exract()返回的是列表，extract_first()返回的是字符串
jobitem['date'] = response.xpath('//*[@class="authi"]/em/span/@title').extract_first()
jobitem['content'] = self._get_content(response)
yield jobitem
def _get_content(self, response):
content = response.xpath('//td[@class="t_f"]//text()').extract()
return ''.join(content).replace('\r','').replace('\n','')
五、 储存结果
此时我们已经可以储存结果，获取第一页的信息了。我们可以使用scrapy默认提供的命令：
> scrapy crawl cnnb -o cnnb.json
此时json文件已经有了，如果没有，可以在settings.py里修改下。
ROBOTSTXT_OBEY = True #True改成False 或者注释掉这条
可是文件内容是什么，完全看不懂呀，别急，这只scrapy的安全保护，在settings.py添加下面这条内容。
FEED_EXPORT_ENCODING = 'utf-8'
重新启动爬虫，再打开json看看：
又是可爱的中文了。
六、 下一页
看到这儿，大家已经能爬取一页内容了，可能有人会说，“我去，一页我手翻也能看完了，我要的是所有页面呀”。
这就涉及到了，怎么看下一页？
回到网页结构，我们看看下一页网页代码是怎么样的？
可以看到是在a标签里。
#下一页
next_page = response.xpath('//a[@class="nxt"]/@href').extract_first()
if next_page:
yield scrapy.Request(next_page, callback=self.parse)
到这里我们已经能成功完成任务了。
下一步，我们将把数据存储到数据库，可以看Scrapy 抓取本地论坛招聘内容 (二)
