爬取网址：https://search.jd.com/Search?keyword=python
爬取信息：书名，价格，出版社，日期
爬取方式：scrapy框架 + splash
存储方式：csv
页面如下，可以看到python相关的图书超过6000本。
不过最终只能看到100页，也就是6000本的信息。
京东图书每个页面有60本图书，页面打开时首先只加载30本书，通过滚动条的下拉，动态加载后面的30本书。所以我们要执行一下JavaScript代码使页面滚动到页面底部把剩余的30本书加载出来。
翻页位于页面的底部，可以定位翻页部分然后用scrollIntoView(true)实现拖拽显示翻页部分，或使用window.scroll("起始点“,“结束点”)来实现页面的滚动加载。
翻页规律：第一页是page=1,动态加载部分是page2,第二页是page3，动态加载部分是page4。由于动态加载部分由splash完成，对于翻页来说就是1,3,5向上叠加即可。
去除掉URL中一些没有用处的数据项，链接格式为：
https://search.jd.com/Search?keyword=python&enc=utf-8&page=3
spider的代码为：
# -*- coding: utf-8 -*-
import scrapy
from scrapy_splash import SplashRequest
lua_script = '''
function main(splash)
splash:go(splash.args.url) --打开页面
splash:wait(2) --等待加载
splash:runjs("document.getElementsByClassName('page')[0].scrollIntoView(true)") --运行js代码
splash:wait(2) --等待加载
return splash:html() --返回页面数据
end
'''
class JdPythonSpider(scrapy.Spider):
name = 'jd_python'
allowed_domains = ['jd.com']
keyword = "python" #填关键字
base_urls = 'https://search.jd.com/Search?keyword={}&enc=utf-8'.format(keyword)
##重写start request方法，指向parse_urls
def start_requests(self):
yield scrapy.Request(self.base_urls,callback=self.parse_urls)
def parse_urls(self,response):
pageNum = response.xpath('//span[@class="fp-text"]/i/text()').extract_first()
# 构造每页的url，向Splash的execute端点发送请求
for i in range(pageNum):
url = "{}page={}".format(self.base_urls,i*2+1)
yield SplashRequest(url,endpoint="execute",args={"lua_source",lua_script},cache_args=['lua_source'],callback=self.parse)
def parse(self, response):
# 获取一个页面中每本书的名字和价格等
for sel in response.css('ul.gl-warp.clearfix > li.gl-item'):
yield {
'name': sel.css('div.p-name').xpath('string(.//em)').extract_first(),
'price': sel.css('div.p-price i::text').extract_first(),
'press': sel.css('span.p-bi-store a::text').extract_first(),
'date': sel.css('span.p-bi-date::text').extract_first(),
}
settings.py中添加以下信息：
SPLASH_URL = 'http://192.168.99.100:8050' #splash服务地址
#开启scrapy_splash的两个下载中间件，并调整HttpCompressionMiddleware的次序
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware':725,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware':810,
}
#设置去重过滤器
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
#支持cache_args(可选)
SPIDER_MIDDLEWARES = {
'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}
USER_AGENT ='Mozilla/5.0 (Windows NT 10.0; WOW64) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3294.6 Safari/537.36'
ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 3
在cmd运行：scrapy crawl jd_python -o books.csv
结果为：
注：结果对data进行了降序排序。
