入门
http://scrapy-chs.readthedocs.org/zh_CN/1.0/intro/tutorial.html
命令行工具
http://scrapy-chs.readthedocs.org/zh_CN/1.0/topics/commands.html#id1
genspider 创建新爬虫
scrapy parse 和scrapy shell 使用类似，用来测试爬取到的内容
Spider
url提取规则
http://scrapy-chs.readthedocs.org/zh_CN/1.0/topics/spiders.html#crawling-rules
使用CrawlSpider可以用rules提取链接和发送到指定的parse
一般情况下,不覆盖默认的parse()方法,新写一个方法提取item
,让list页面自动回调默认parse()后,返回response,之后会继续用rules提取链接.
最新更新:LinkExtractor和LxmlLinkExtractor应用起来差不多,后者可以使用正则提取,其他方法弃用.
相对链接
from scrapy.utils.response import get_base_url
from urlparse import urljoin
base_url = get_base_url(response)
relative_url = site.select('//*[@id="showImage"]/@src').extract()
item['image_urls'] = [urljoin(base_url,ru) for ru in relative_url]
Item Pipeline
http://scrapy-chs.readthedocs.org/zh_CN/1.0/topics/item-pipeline.html#id1
- 字符转换的pipeline模块见下方数据存储
setting
http://scrapy-chs.readthedocs.org/zh_CN/1.0/topics/settings.html#spider-middlewares
Requests and Responses
http://scrapy-chs.readthedocs.org/zh_CN/1.0/topics/request-response.html
Request meta
- 添加代理
`request.meta['proxy'] = "http://xxx.xx.xxx.xx:xxxx"
Response
url = response.url
下载器中间件
缓存
HTTPCACHE_ENABLED=True
HTTPCACHE_EXPIRATION_SECS=0
HTTPCACHE_DIR='dbhttpcache'
HTTPCACHE_IGNORE_HTTP_CODES=[301,302,403,404,500,502,503]
HTTPCACHE_STORAGE='scrapy.extensions.httpcache.FilesystemCacheStorage'
proxy
https://husless.github.io/2015/07/01/using-scrapy-with-proxies/
HttpProxyMiddleware and RetryMiddleware
数据存储
Feed exports
json & jsonlines
自定义pipelines中也可以直接输出到json文件
scrapy crawl spidername -o items.json -t jsonlines
FEED_URI = 'douban.json'
FEED_FORMAT = 'jsonlines'
json数据直接存储为字符串
不要先loads成字典list，后dumps，这样存到数据库之后取出loads时可能会有异常。采集百度视频的时候遇到
编码转换
存储json数据为中文
主要参考:
http://git.oschina.net/ldshuang/imax-spider/commit/1d05d7bafdf7758f7b422cc1133abf493bf55086
http://caiknife.github.io/blog/2013/08/02/scrapy-json-solution/
- 添加pipelines
class JsonWriterPipeline(object):
def __init__(self):
self.file = codecs.open('douban.json', 'w', encoding='utf-8')
def process_item(self, item, spider):
line = json.dumps(dict(item)) + "\n"
self.file.write(line.decode('unicode_escape'))
item = {"haha":"hehe"}
return {"log":"可以不需要return数据了,返回的数据会再次转成Unicode,交给系统自带的输出"}
- 再setting.py启用ITEM_PIPELINES
ITEM_PIPELINES = {
'projectname.pipelines.JsonWriterPipeline':800,
}
- response.body_as_unicode()
在某些情况下可能要使用response.body_as_unicode()
日志
旧版本弃用,更新:http://doc.scrapy.org/en/latest/topics/logging.html
import logging
logging.warning("This is a warning")
Debug
http://scrapy-chs.readthedocs.org/zh_CN/1.0/topics/debug.html
scrapy parse 可以检查spider输出
待跟进
DjangoItem
scrapyd
服务器运行
不要nohub之后存储日志（太大）
nohup scrapy crawl mbaidu_spider -s JOBDIR=job/mbaidu-18-1 >/dev/null 2>&1 &
