从这一节开始，我们将编写爬虫部分以及设置item，到最终的存储到数据库，本节我们使用第二个网站：http://www.qkljw.com/
我们找到这个网站的文章列表页：http://www.qkljw.com/Article/index/type/1/p/1.html
由此可见，他的翻页是通过变化数字来实现的，所以我们此处先以爬取第一页的内容为例，后续扩展爬取翻页。
# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request
try:
from bs4 import BeautifulSoup
except ImportError:
from BeautifulSoup import BeautifulSoup
class jianwen(scrapy.Spider):
name = 'jianwen'
start_urls = "http://www.qkljw.com/Article/index/type/1/p/1.html"
def start_requests(self):
yield Request(self.start_urls, self.parse)
def parse(self, response):
#用BeautifulSoup 获取到ul元素
lists = BeautifulSoup(response.text, 'lxml').find('ul', class_='article_cate')
#获取所有li元素
tds = lists.findAll('li')
#循环获取li元素里面的内容
for td in tds:
#尝试获取Title
title = td.find('p', class_='title-left').get_text().replace('\n','').replace('\r','').strip()
#输出一下看看结果
print(title)
输出结果：
可以看到标题已经成功获取到，接下来其他元素同理获取，我们这里在这个页面上，将需要获取的元素包括：
Title：标题
image：图片
desc：描述
a_url：文章的详情页地址
所以我们按照同样的步骤获取到这四个元素，获取完成后，我们再观察一下详情页的内容，从详情页，我们希望获取：
publish_time: 发布时间
content：主体内容
这里唯一要注意的一点是：当我们在获取到文章详情页的链接地址时，并不是网站的绝对地址，而是相对地址：/article/2607.html，直接访问无法访问，所以我们需要在前面加上网站的根目录：
url = 'http://www.qkljw.com'+a_url
然后再交给下一个请求，来获取详细内容：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request
try:
from bs4 import BeautifulSoup
except ImportError:
from BeautifulSoup import BeautifulSoup
class jianwen(scrapy.Spider):
name = 'jianwen'
start_urls = "http://www.qkljw.com/Article/index/type/1/p/1.html"
def start_requests(self):
yield Request(self.start_urls, self.parse)
def parse(self, response):
#用BeautifulSoup 获取到ul元素
lists = BeautifulSoup(response.text, 'lxml').find('ul', class_='article_cate')
#获取所有li元素
tds = lists.findAll('li')
#循环获取li元素里面的内容
for td in tds:
#尝试获取Title
title = td.find('p', class_='title-left').get_text().replace('\n','').replace('\r','').strip()
desc = td.find('div', class_='article_cate_li_info_content').get_text().replace('\n','').replace('\r','').strip()
image = td.find('img', class_='a_h_img')['src']
a_url = td.find('a')['href']
#输出一下看看结果
print(title)
print(desc)
print(image)
print('http://www.qkljw.com'+a_url)
#传递请求到下一个函数：get_content，同时将本函数内获取到的函数，以参数形式传递给下一个函数
yield Request(url = 'http://www.qkljw.com'+a_url, callback=self.get_content, meta={'a_url':a_url, 'title':title, 'desc':desc, 'image':image}, dont_filter=True)
def get_content(self, response):
publish_time = response.xpath('//div[2]/div[1]/div[1]/p/text()').extract()[0]
content = response.xpath('//div[2]/div[1]/div[2]').extract()[0]
到这里我们的爬虫基本上已经获取到了我们想要的所有内容，接下来我们就需要将我们的数据写入数据库
在写入数据库的时候，首先需要将数据封装到items中，我们打开items文件，然后按照我们需要填写到数据库中的内容定义字段即可：
编写好items文件后，在爬虫文件里，将我没获取到的信息，压入items即可，最终的爬虫文件为：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request
try:
from bs4 import BeautifulSoup
except ImportError:
from BeautifulSoup import BeautifulSoup
from ArticleSpider.items import ScrapyArticleItem
class jianwen(scrapy.Spider):
name = 'jianwen'
start_urls = "http://www.qkljw.com/Article/index/type/1/p/1.html"
def start_requests(self):
yield Request(self.start_urls, self.parse)
def parse(self, response):
#用BeautifulSoup 获取到ul元素
lists = BeautifulSoup(response.text, 'lxml').find('ul', class_='article_cate')
#获取所有li元素
tds = lists.findAll('li')
#循环获取li元素里面的内容
for td in tds:
#尝试获取Title
title = td.find('p', class_='title-left').get_text().replace('\n','').replace('\r','').strip()
desc = td.find('div', class_='article_cate_li_info_content').get_text().replace('\n','').replace('\r','').strip()
image = td.find('img', class_='a_h_img')['src']
a_url = td.find('a')['href']
#输出一下看看结果
'''
print(title)
print(desc)
print(image)
print('http://www.qkljw.com'+a_url)
'''
#传递请求到下一个函数：get_content，同时将本函数内获取到的函数，以参数形式传递给下一个函数
yield Request(url = 'http://www.qkljw.com'+a_url, callback=self.get_content, meta={'a_url':a_url, 'title':title, 'desc':desc, 'image':image}, dont_filter=True)
def get_content(self, response):
publish_time = response.xpath('//div[2]/div[1]/div[1]/p/text()').extract()[0]
content = response.xpath('//div[2]/div[1]/div[2]').extract()[0]
#创建item对象
item = ScrapyArticleItem()
#获取上一个方法传过来的参数
item['a_url'] = 'http://www.qkljw.com'+response.meta['a_url']
item['title'] = response.meta['title']
item['image'] = 'http://www.qkljw.com'+response.meta['title']
item['desc'] = response.meta['desc']
item['publish_time'] = publish_time
item['content'] = content
#这个字段将会在我们做网页的时候用到
item['source'] = 'qkljw'
yield item
接下来我们需要将获取到的数据存入数据库，请参考下一节
