这里还是用scrapy框架写的爬虫。
最近才开始学习的，经过搜索了之后，常见的反爬虫方案大致有几个：
1.针对用户行为，常见的就是网站会针对ip访问频率统计，访问太过频繁，会禁止该ip地址的访问
2.判断Header，比如如果User-agent是爬虫或者检测工具，或者非正常的浏览器，就禁止该次连接
3.数据加载方式，采用ajax异步加载，这样只是爬取静态页面的话什么信息都没有办法得到
下面实现一下每一个方案的应对方案：
1.针对用户行为
针对用户行为基本上就是对ip地址的访问统计，还有同一个用户多次相同的行为什么的，不过这里是为了爬取url，基本不会有后者的情况。
可以采用代理ip来解决，写一个爬虫爬取免费的代理网站，获取到一批免费代理，然后每次都随机选一个就好了。
下面是爬取代理的代码，注意频率不要太高，免费的代理网站也是有反爬虫的。
# -*- coding: utf-8 -*-
import scrapy
import time
from scrapy.selector import Selector
class Proxyspider(scrapy.Spider):
name = 'proxy'
allowed_domains = ['www.xicidaili.com']
start_urls = ['http://www.xicidaili.com/']
def start_requests(self):
burl = "http://www.xicidaili.com/nn/"
for i in range(1,5):
yield scrapy.Request(url=burl+str(i), callback=self.parse)
def parse(self, response):
se = scrapy.Selector(response)
cnt = 0
site = se.xpath('//tr')
for s in site:
content = s.xpath('.//td/text()').extract()
if len(content) > 2:
scheme = content[5]
if scheme == 'HTTP' or scheme == 'HTTPS':
print '%s://%s:%s'%(scheme.lower(), content[0], content[1])
免费的代理不一定能用，需要先做一下测试
# testproxy.py
#encoding=utf8
import urllib
import requests
import sys
if __name__ == "__main__":
for url in sys.stdin:
resp = requests.get(url)
if resp.status_code == requests.codes.ok:
print url
然后写个脚本，用crontab设置其定期运行，就可以愉快地更新代理啦。
# updateproxy.sh
set -x
scrapy crawl proxy > tmp
cat tmp > python updateproxy.sh > proxy
crontab设置为每15分钟运行更新一次
*/15 * * * * cd /home/qiqi/spider/urlspider/urlspider && sh updateproxy.sh
现在我们有了一批定期更新的代理了，需要在scrapy运行过程中加入代理就可以了。
可以在发送请求的时候加上，也可以添加一个中间件，这里是添加了中间件。
添加中间件的代码：
# middlewares.py
class ProxyMiddleware(object):
def process_request(self, request, spider):
f = open("proxy", "r")
proxy = f.readlines()
# print request.headers
try:
request.meta['proxy'] = random.choice(proxy)
except Exception, e:
print >> sys.stderr, e
在设置setting.py中进行配置
DOWNLOADER_MIDDLEWARES = {
'tutorial.middlewares.ProxyMiddleware': 100,
}
这就完成了代理配置了。
2.判断Header
对这个只需要在请求时都构造一个header就可以了。
user-agent：可以移步http://blog.csdn.net/bone_ace/article/details/52476016 这里提供了非常全的user-agent
referer：可以填上一个爬取的页面
myheader = {
'referer': response.url,
'user-agent': random.choice(UrlSpider.user_agent), #user_agent是从上面提到的文章中摘取的列表
}
yield scrapy.Request(url, self.parse, headers=myheader)
3.数据加载方式
scrapy+splash可以爬取JS生成的动态页面
先安装splash
sudo pip install scrapy-splash
splash一般是运行在docker上面的，因此需要先下载docker
sudo apt-get install docker
然后拉取镜像运行
sudo docker pull scrapinghub/splash
docker run -p 8000:8000 scrapinghub/splash
在setting.py中配置splash
SPLASH_URL = 'http://127.0.0.1:8000'
...
DOWNLOADER_MIDDLEWARES = {
'tutorial.middlewares.ProxyMiddleware': 100,
'scrapy_splash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware': 725,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}
...
SPIDER_MIDDLEWARES = {
'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}
...
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
...
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
然后修改spiders,将scrapy.Request替换为SplashRequest
# -*- coding: utf-8 -*-
import scrapy
import urlparse
import random
from urlspider.items import UrlspiderItem
from scrapy.selector import Selector
from scrapy_splash import SplashRequest
class UrlSpider(scrapy.Spider):
name = 'url'
allowed_domains = ['opencv.org']
start_urls = ['http://opencv.org/']
result_urls = []
user_agent=[]
black_list = ['.jpeg', '.jpg', '.png', '.gif',
'.css', '.json',
'.mp3', '.mp4',
'.zip', '.tar.gz', '.rar', '.7z']
def start_requests(self):
self.get_UA()
for url in UrlSpider.start_urls:
myheader = {
'referer': response.url,
'user-agent': random.choice(UrlSpider.user_agent), #user_agent是从上面提到的文章中摘取的列表
}
yield SplashRequest(url, self.parse, args={'wait': 1.0})
def parse(self, response):
item = UrlspiderItem()
item['url'] = response.url
se = Selector(response)
result = set()
site = se.xpath('//a/@href').extract()
for s in site:
tmpurl = urlparse.urljoin(response.url, s)
if self.check_url(tmpurl):
continue
if tmpurl not in result:
result.add(tmpurl)
myheader = {
'referer': response.url,
'user-agent': random.choice(UrlSpider.user_agent), #user_agent是从上面提到的文章中摘取的列表
}
for r in result:
if r not in UrlSpider.result_urls:
UrlSpider.result_urls.append(r)
yield SplashRequest(url, self.parse, header=myheader, args={'wait': 1.0})
yield item
def get_UA(self):
for line in open('UA'):
UrlSpider.user_agent.append(line)
def check_url(self, url):
tmp = urlparse.urlparse(url)
res = False
for i in UrlSpider.black_list:
print tmp['path']
if i in tmp['path']:
res = True
return res
return res
这样就可以获取到JS动态加载生成的页面了。
