scrapy适合一次性爬取全站，如果我想多次爬取，主目录页面难免会出现重复，去重增量爬取就很有必要了。
我在网上搜到了这样的文章scrapy+redis增量爬取,
逻辑是前一次存取每次爬过的url进数据库，这一次在pipeline中再把数据库中已爬url读取存进redis里，然后比对这次爬的item里的url，一样就不存。
看了这个逻辑，我觉得核心思想有道理，用redis键值比对，不过，更优化的逻辑应该是我先比对url，重复的url直接不request，而不是还去request-response-获取到item到pipeline再来处理。
所以文章的逻辑都对，只是筛选位置不对，应该放在spider里。
import scrapy
from pyquery import PyQuery as pq
from rscrapydouban.items import RscrapydoubanItem
import sqlite3
import redis
import pandas as pd
class JianshuCrawler(scrapy.Spider):
name = 'jianshu'
start_urls =['https://www.jianshu.com/users/3a2f7a33a8cc/timeline']
def parse(self, response):
self.conn = sqlite3.connect('jianshu.sqlite')
self.cur = self.conn.cursor()
redis_db = redis.Redis(host='127.0.0.1', port='6379')
redis_data_dict = "dup_url"
redis_db.flushdb()
sql = 'select url from js'
df = pd.read_sql(sql, self.conn)
self.conn.commit()
self.conn.close()
if len(df['url']):
for url in df['url'].tolist():
redis_db.hset(redis_data_dict, url, 0)
res = pq(response.body)
for title in res('#list-container .title').items():
urlpa ='https://www.jianshu.com'+title.attr('href')
if redis_db.hexists(redis_data_dict, urlpa):
pass
else:
yield scrapy.Request(urlpa,callback=self.parse_detai)
def parse_detail(self,response):
res = pq(response.body)
jsitems = RscrapydoubanItem()
jsitems['name'] = res('.article .title').text()
jsitems['url'] =response.url
return jsitems
Redis相关的有三条：
redis_db.flushdb()清空数据库db，这是粗暴的解决方案，可以保证每次都能把所有的url都放入，假如也是增量添加的话，可以考虑在item中添加一项flag，已表示这次新增的量，每次读取数据库得到flag只添加flag相同的项，然后flag+1为这次的项。但是数据io一个也是读，一堆也是读，所以我倒觉得这样url的增量无关紧要吧。
redis_db.hset(redis_data_dict, url, 0)
这个是把url作为keys存入redis，至于values无所谓
redis_db.hexists(redis_data_dict, urlpa)
判断url是否存在了
反思：
1.初始request的额外需求应该可以放在spider中间件中的process_start_requests,但是然后剩查重还是要在spider里，这里又要再连接一次数据库感觉有些麻烦，故全部放在spider。
2.增量我觉得有两种，一种就是上面说的，每次爬的url不一样，想从不同页面继续爬。比方说简书里新增一篇文章就有一个新的url，比如什么值得买虽然page1的内容永远是新的，但是每个div里的内容页面确是独一无二的。
一种是每次新增的内容在相同的页面里，比如文章的修改，或者论坛的评论之类的，这种可能就要在pipeline里来去重了。
