- 官方文档：http://docs.pyspider.org/
- PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器
- pyspider是作者之前做的一个爬虫架构的开源化实现。主要的功能需求是：
- 抓取、更新调度多站点的特定的页面
- 需要对页面进行结构化信息提取
- 灵活可扩展，稳定可监控 而这也是绝大多数python爬虫的需求 —— 定向抓取，结构化化解析。但是面对结构迥异的各种网站，单一的抓取模式并不一定能满足，灵活的抓取控制是必须的。为了达到这个目的，单纯的配置文件往往不够灵活，于是，通过脚本去控制抓取是我最后的选择。 而去重调度，队列，抓取，异常处理，监控等功能作为框架，提供给抓取脚本，并保证灵活性。最后加上web的编辑调试环境，以及web任务监控，即成为了这套框架。
- pyspider的设计基础是：以python脚本驱动的抓取环模型爬虫
- 通过python脚本进行结构化信息的提取，follow链接调度抓取控制，实现最大的灵活性
- 通过web化的脚本编写、调试环境。web展现调度状态
- 抓取环模型成熟稳定，模块间相互独立，通过消息队列连接，从单进程到多机分布式灵活拓展
ubuntu安装:
- 添加依赖
sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml libssl-dev zlib1g-dev
sudo apt-get install phantomjs
pip3 install pyspider
windows直接进行pip安装即可
运行
pyspider all
打开浏览器，输入：
http://127.0.0.1:5000
出现以下界面运行成功
image.png
创建项目：点击Create
image.png
- 填写项目名称和起始url
- Mode：Slime有些功能还没有完善，选择Script
- 点击创建
进去之后就可以写你的代码了
左边这一栏可以简单运行一下你的代码。
右边是写你的代码的，下面该介绍一下相关的参数和方法了
# pyspider爬虫的主类，我们在这里进行爬取，解析和储存信息
class Handler(BaseHandler):
# crawl_config：在这个参数中可以做全局的设置（UA，Headers，proxy...）
# itags:做一个标记，如果页面或版本号发生变化，会再请求一次
crawl_config = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0',
# 'itags':'v1'
}
# 创建mongodb数据库连接
mongo_client = pymongo.MongoClient('127.0.0.1', 27017)
# 创建或指定数据库
db = mongo_client['lianjia']
# 获取数据库下的集合
col = db['lianjiacol']
# 创建mysql数据库连接
mysql_cli = pymysql.Connect(
'127.0.0.1','root','密码','数据库名称',3306,charset='utf8'
)
# 创建游标
cursor = mysql_cli.cursor()
- self.crawl中的参数
# 每隔一天进行一次重复请求（重新执行on_start方法）
@every(minutes=24 * 60)
def on_start(self):
crawl：根据crawl发起请求，
exetime：延时，
data：默认get请求，当发起一个post请求用data={}传递参数
忽略ssl证书，默认不忽略：validate_cert=False
fetch_type=‘js’,加载动态页面，也可以执行js代码：
js_script='''
function() {
window.scrollTo(0,document.body.scrollHeight);
return 123;
}
'''
save，对应的是一个字典，传递参数
附加到url传递参数：parmars = {}
"""
例： self.crawl('http://www.baidu.com' callback=self.index_page,save={'a':'b'},parmars={'name':'zhangsan'})
def index_page(self,response):
print(response.url) --> 'http://www.baidu.com/?name=zhangsan'
response.save['a'] --> b
"""
self.crawl(url, callback=self.index_page, validate_cert=False)
- xpath、css
# 同样的url在十天之内不会重复爬取
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
# response.doc:pyquery对象
# response.etree:返回lxml
# 提取每一个房源的详情url地址
hourse_infos = response.doc(
'ul.sellListContent li.clear.LOGCLICKDATA'
) # css
hourse_infos = response.etree.xpath(
'ul[@class="sellListContent"]/ li[@class="clear LOGCLICKDATA"]'
) # xpath
for hourse in hourse_infos.items():
detail_url = hourse(
'div.title a'
).attr.href
detail_url = hourse.xpath(
'div[@class="title"]/a/@href'
)
self.crawl(detail_url, callback=self.detail_page, validate_cert=False)
# 提取下一页发起请求
# 提取json方法：data = response.doc('.page-box.house-lst-page-box').attr.page-data
data = response.etree.xpath('//div[@class="page-box house-lst-page-box"]/@page-data')[0]
json_data = json.loads(data)
print(json_data)
cur_page = int(json_data['curPage'])
total_page = int(json_data['totalPage'])
if cur_page < total_page:
# 发起下一页
next_page = cur_page + 1
next_url = 'https://bj.lianjia.com/ershoufang/pg{}/'.format(str(next_page))
self.crawl(next_url, callback=self.index_page, validate_cert=False)
# for each in response.doc('a[href^="http"]').items():
# self.crawl(each.attr.href, callback=self.detail_page)
@config(priority=2)
def detail_page(self, response):
print('二手房获取成功')
# 获取二手房详情信息
info = {}
# 标题
# info['title'] = response.doc('h1.main').attr.title
info['title'] = response.doc('h1.main').text()
# 其他信息
info['subTitle'] = response.doc('div.sub').text()
# 关注人数
info['attrnNum'] = response.doc('#favCount').text()
# 几人看过
info['lookNum'] = response.doc('#cartCount').text()
# 总价
info['price '] = response.doc('span.total').text()
# 单价
info['unitPriceValue'] = response.doc('span.unitPriceValue').text() + response.doc(
'span.unitPriceValue i').text()
# 大小
info['size'] = response.doc('div.room div.mainInfo').text()
# 几层
info['height'] = response.doc('div.room div.subInfo').text()
# 方向
info['diriction'] = response.doc('div.type div.mainInfo').text()
# 类型
info['type'] = response.doc('div.room div.subInfo').text()
# print(info)
return info
def on_result(self, result):
print('获取到结果', result)
if result:
try:
# mongo
self.col.insert(result)
# mysql
sql = """
INSERT INTO lianjia(%s) VALUES (%S)
"""%(','.join(result.keys()),','.join(['%s']*len(result)))
data = list(result.values())
self.cursor.execute(sql,data)
self.mysql_cli.commit()
print('数据存储成功')
except Exception as err:
print('数据库插入失败', err)
self.mysql_cli.rollback()
