scrapy源码https://github.com/scrapy/scrapy/tree/master/scrapy
第一章、scrapy的模块
有spiders,selector,http,linkextractors，item,loader，exceptions,pipeline等包。
其中，在scrapy的目录下含有一些快捷的函数，如
scrapy.Spider()（继承于spiders包），
scrapy.Selector()（继承于selector包），，
scrapy.Item() (继承于item包），
scrapy.Request/FormRequest（继承于http包）。
spiders模块
常用Rule，CrawlSpider等函数。
一般爬虫scrapy.spiders.Spider,其他爬虫都是继承此爬虫。
链接爬虫scrapy.spiders.CrawlSpider,
网站爬虫scrapy.spiders.SitemapSpider
XML源爬虫scrapy.spiders.XMLFeedSpider
CSV源爬虫scrapy.spiders.CSVFeedSpider
linkextractors模块
常用LinkExtractor()函数。
http模块
常用HtmlResponse()函数
scrapy.http.Request()
scrapy.http.FormRequest()
item模块
常用Item(),Field()函数
loader模块
常用ItemLoader函数
exceptions模块
常用DropItem函数
pipeline
常用image,file包函数
第二章、选择器 scrapy.selector.Selector(response=None, text=None, type=None)
在scrapy中使用选择器对response进行解析。如response.xpath()。此时response已经自动被scrapy转化成了选择器。选择器可以由文本或者TextResponse构造形成，如：
from scrapy.http import HtmlResponse```
文本构造
Selector(text=body).xpath('//span/text()').extract()```
TextResponse构造
```response = HtmlResponse(url='http://example.com', body=body)
Selector(response=response).xpath('//span/text()').extract()```
选择器常用方法xpath()或者css().如sel.xpath(),sel.css()xuan.两者都返回新的选择器。
选择器还有re(),extract(),re_first(),extract_first()方法，前两个返回字符串列表，后两个返回字符串列表的第一个字符串。
##xpath
xpath("//div")会得到文档所有的div节点构成的选择器
> ```for p in divs.xpath('.//p')： # extracts all <p> inside
... print p.extract()```
或者
>```for p in divs.xpath('p')： #extracts all <p> inside
print p.extract()```
xpath获取多个标签下的文本
> ```sel.xpath("//div").xpath("string(.)").extract()#返回一个列表，每个元素都是一个div节点下所有的文本。```
获取指定文本值的元素
>```sel.xpath("//a[contains(., 'Next Page')]").extract()
sel.xpath("//a[text()='Next Page']").extract()```
选择器，在选择标签易变的文本时记得用
>```xpath("string(.)")```
在数据项易减少的文本时，用
>```xpath("//div[contains(text(),'word')]")```
可以利用兄弟父子节点选取。
#第三章、itempipeline
itempipeline是对spider产生的item进行处理。有清洗，验证，检查，储存等功能。itempipeline含有四个方法：
>open_spider(self, spider)，
close_spider(self, spider)，
from_crawler(cls, crawler)，
process_item(self, item, spider).
##不同的item处理
>```if isinstance(item, Aitem):
pass
elif isinstance(item, Bitem):
pass
else:
pass```
##储存到mongoDB
在settings文件里输入
>```
MONGODB_URI = 'mongodb://localhost:27017'
MONGODB_DATABASE = 'scrapy'
DOWNLOAD_DELAY = 0.25 #用于防止被ban```
然后在pipeline文件直接用官网的代码。只需要改动process_items函数的代码和集合名。
>```
import pymongo
import pymongo
from scrapy.conf import settings
from scrapy.exceptions import DropItem
from myproject.items import myitem
class myPipeline(object):
collection_name = 'scrapy_items'
def __init__(self, mongo_uri, mongo_db):
self.mongo_uri = mongo_uri
self.mongo_db = mongo_db
@classmethod
def from_crawler(cls, crawler):
return cls(
mongo_uri=crawler.settings.get('MONGO_URI'),
mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')
)
def open_spider(self, spider):
self.client = pymongo.MongoClient(self.mongo_uri)
self.db = self.client[self.mongo_db]
def close_spider(self, spider):
self.client.close()
def process_item(self, item, spider):
self.db[self.collection_name].insert(dict(item))
return item```
#第四章、图片下载和文件下载 参考http://www.jianshu.com/p/b5ae15cb131d
scrapy中图片和文件下载暂时只支持存在系统目录或者S3.
##图片下载
在items文件中：
>```import scrapy
class MyItem(scrapy.Item):
image_urls = scrapy.Field() #用来存放图片的SRC源地址
images = scrapy.Field() #储存下载结果，当文件下载完后，images字段将被填充为一个2元素的元组。其中第一个为布尔值，表明是否成功下载，第二个是一个字典，含有相关信息。如
(True, {'checksum': '2b00042f7481c7b056c4b410d28f33cf',
'path': 'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg',
'url': 'http://www.example.com/files/product1.pdf'})
同理文件下载的item
在settings文件中配置：保存目录，失效时间，缩略图生成，过滤小图片
IMAGES_STORE = "./图片" #图片储存路径,为当前项目目录下的图片文件夹
FILES_STORE = "./wenjian" #文件储存路径
FILES_EXPIRES = 90 #设置文件失效的时间
IMAGES_EXPIRES = 30 #设置图片失效的时间```
IMAGES_THUMBS = {
'small': (50, 50),
'big': (270, 270),
} #设置缩略图大小，当你使用这个特性时，图片管道将使用下面的格式来创建各个特定尺寸的缩略图:
<IMAGES_STORE>/thumbs/<size_name>/<image_id>.jpg
IMAGES_MIN_HEIGHT = 110 #过滤小图片
IMAGES_MIN_WIDTH = 110 #过滤小图片```
pipeline
经常需要在pipeline或者中间件中获取settings的属性，可以通过scrapy.crawler.Crawler.settings属性或者
from scrapy.conf importsettings
@classmethod
def from_crawler(cls, crawler):
settings = crawler.settings
if settings['LOG_ENABLED']:
print "log is enabled!" ```
每个图片item保存在不同的目录
class MyImagesPipeline(ImagesPipeline):
spider = None
def get_media_requests(self, item, info):
for url in item["image_urls"]:
yield scrapy.Request(url,meta={'sch_name': item["sch_name"]})
#file_path函数重写，对图片保存目录进行设置
def file_path(self, request, response=None, info=None):
image_guid = request.url.split('/')[-1]
return "C:/pictures/full/%s/%s" % (request.meta['sch_name'],image_guid)
def item_completed(self, results, item, info):
image_paths = [x['path'] for ok, x in results if ok]
if not image_paths:
raise DropItem("Item contains no images")
return item
