1.创建爬虫项目
scrapy startproject jobboleproject
2.新建爬虫文件
scrapy genspider jobbole jobbole.com
3.item.py文件
class JobboleItem(scrapy.Item):
# define the fields for your item here like:
#标题
title = scrapy.Field()
#创建时间
create_date = scrapy.Field()
#文章地址
url = scrapy.Field()
#id
url_object_id = scrapy.Field()
#文章图片
front_image_url = scrapy.Field()
#文章图片地址
front_image_path = scrapy.Field()
# 点赞数
praise_nums = scrapy.Field()
#收藏数
bookmark_nums = scrapy.Field()
# 评论数
comment_nums = scrapy.Field()
#文章内容
content = scrapy.Field()
#标签
tags = scrapy.Field()
4.打开 jobboleproject/spider目录里的 jobbole.py，默认增加了下列代码:
# -*- coding: utf-8 -*-
import scrapy
class JobboleSpider(scrapy.Spider):
name = 'jobbole'
allowed_domains = ['jobbole.com']
start_urls = ['http://blog.jobbole.com/all-posts/']
def parse(self, response):
pass
5.将start_urls(设置起始url)的值修改为需要爬取的第一个url
start_urls = ("http://blog.jobbole.com/all-posts/",)
在parse方法中做数据的提取
from jobboleproject.items import JobboleprojectItem
6.获取图片和文章详情的链接
def parse(self, response):
# css选择器获取当前列表页面的所有的节点
post_nodes = response.css("#archive .floated-thumb .post-thumb a")
# 如果不是完整的域名 需要拼接完整 response.url + post_url
# 获取到的URL可能不是一个域名，也可能是具体的文章需要使用parse函数from urllib import parse
for post_node in post_nodes:
image_url = post_node.css("img::attr(src)").extract_first("")
post_url = post_node.css("::attr(href)").extract_first("")
full_url = response.urljoin(post_url)
#meta参数对应的是一个字典，用来传递数据
yield scrapy.Request(url=full_url, meta={"front_image_url": image_url},
callback=self.parse_detail)
7.然后将我们得到的数据封装到一个 JobboleItem 对象中，可以保存每个文章的属性：
def parse_detail(self,response):
# print(response)
# 使用xpath语法或者css语法提取网页的相关信息
# extract（） 串行化并将匹配到的节点返回一个unicode字符串列表
item = JobboleprojectItem()
#标题
item['title'] = response.xpath('//div[@class="entry-header"]/h1/text()').extract_frist("")
#发布日期
item['create_date'] = response.xpath("//p[@class='entry-meta-hide-on-mobile']/text()").extract_first("").strip().replace("·","").strip()
#文章地址详情地址
item['url'] = response.url
# http://blog.jobbole.com/113949/
#文章的id
item['url_object_id'] = re.match(".*?(\d+).*", url).group(1)
# 文章图片
item['front_image_url'] = response.meta.get("front_image_url","")
# 点赞数
item['praise_nums'] = response.xpath("//span[contains(@class,'vote-post-up')]/h10/text()").extract_first("")
# 收藏数
bookmark_nums = response.xpath("//span[contains(@class,'bookmark-btn')]/text()").extract_first("")
match_bookmark_nums = re.match(".*?(\d+).*",bookmark_nums)
if match_bookmark_nums:
item['bookmark_nums'] = int(match_bookmark_nums.group(1))
else:
item['bookmark_nums'] = 0
# 评论数
comment_nums = response.xpath("//a[@href='#article-comment']/span/text()").extract_first("")
match_comment_nums = re.match(".*?(\d+).*",comment_nums)
if match_comment_nums:
item['comment_nums'] = int(match_comment_nums.group(1))
else:
item['comment_nums'] = 0
# 文章内容
item['content'] = response.xpath("//div[@class='entry']").extract_first("")
# 过滤评论标签
tag_list = response.xpath("//p[@class='entry-meta-hide-on-mobile']//a/text()").extract()
tag_list = [element for element in tag_list if not element.strip().endswith("评论")]
# 标签
item['tags'] = ",".join(tag_list)
print(item)
# return返回数据，不经过pipelines
# return item
# yield将获取的数据交给pipelines
# yield item
8. jobbole.py文件
name = "" ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：
负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
生成需要下一页的URL请求。
9.根据目标网站分析需要提取的数据，在item.py文件中添加字段
打开jobboleproject文件下的item.py文件
Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误。
可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field的类属性来定义一个Item（可以理解成类似于ORM的映射关系）。
接下来，创建一个JobboleprojectItem 类，和构建item模型（model）。
10.关于yeild函数介绍：
简单地讲，yield 的作用就是把一个函数变成一个 generator（生成器），带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator，带有yeild的函数遇到yeild的时候就返回一个迭代值，下次迭代时， 代码从 yield 的下一条语句继续执行，而函数的本地变量看起来和上次中断执行前是完全一样的，于是函数继续执行， 直到再次遇到 yield。
