pyspider是一个爬虫架构的开源化实现
主要的功能需求是：
- 抓取、更新调度多站点的特定的页面
- 需要对页面进行结构化信息提取
- 灵活可扩展，稳定可监控 而这也是绝大多数python爬虫的需求 —— 定向抓取，结构化化解析。但是面对结构迥异的各种网站，单一的抓取模式并不一定能满足，灵活的抓取控制是必须的。为了达到这个目的，单纯的配置文件往往不够灵活，于是，通过脚本去控制抓取是我最后的选择。 而去重调度，队列，抓取，异常处理，监控等功能作为框架，提供给抓取脚本，并保证灵活性。最后加上web的编辑调试环境，以及web任务监控，即成为了这套框架。
pyspider的设计基础是：以python脚本驱动的抓取环模型爬虫
- 通过python脚本进行结构化信息的提取，follow链接调度抓取控制，实现最大的灵活性
- 通过web化的脚本编写、调试环境。web展现调度状态
- 抓取环模型成熟稳定，模块间相互独立，通过消息队列连接，从单进程到多机分布式灵活拓展
安装pyspider:
添加依赖
sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml libssl-dev zlib1g-dev
sudo apt-get install phantomjs
pip3 install pyspider
启动:
pyspider all
以链家为例 ：
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2019-01-09 14:03:20
# Project: lianjia
from pyspider.libs.base_handler import *
import json
import pymongo
import pymysql
class Handler(BaseHandler):
#pyspider爬虫的主类，在这里进行爬取，解析，和存储数据
#crawl_config:在这个参数中可以做全局的设置(UA,Headers,proxy..)
crawl_config = {
'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
#'itags':'v2'
}
#创建mongodb数据库连接
mongo_client = pymongo.MongoClient('127.0.0.1',27017)
#获取要凑走的数据库
db = mongo_client['lianjia']
#获取数据库下的集合
col = db['lianjiacol']
#创建数据库连接
mysql_cli = pymysql.Connect(
'127.0.0.1','root','ljh1314',
'lianjia',3306,charset='utf8'
)
#创建游标
cursor = mysql_cli.Cursor()
@every(minutes=24 * 60)
#定时:每隔一天进行重复请求（重新执行on_start）
def on_start(self):
#crawl:根据crawl发起请求(url,proxy,itag,user-agent,headers,exetime,callback,save,parmas,data,fetch_type,)
self.crawl('https://bj.lianjia.com/ershoufang/', callback=self.index_page)
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
#response.doc:是一个pyquery对象
#response.etree:返回的是一个lxml
#提取每一个房源的详情url地址
hourse_infos = response.doc('ul.sellListContent li.clear.LOGCLICKDATA')
for hourse in hourse_infos.items():
detail_url = hourse('div.title a').attr.href
self.crawl(detail_url,callback=self.detail_page)
#提取下一页发起请求
#data = response.doc('div.page-box.house-lst-page-box').attr.page-data
data = response.etree.xpath('//div[@class="page-box house-lst-page-box"]/@page-data')[0]
print(data)
json_data = json.loads(data)
#print('nextdata',json_data)
cur_page = int(json_data['curPage'])
total_page = int(json_data['totalPage'])
if cur_page < total_page:
#发起下一页请求
next_page = cur_page+1
next_url = 'https://bj.lianjia.com/ershoufang/pg%s/' % str(next_page)
self.crawl(next_url,callback=self.index_page)
#next_url = response.doc()
# for each in response.doc('a[href^="http"]').items():
# self.crawl(each.attr.href, callback=self.detail_page)
@config(priority=2)
def detail_page(self, response):
print('二手房详情获取成功')
#获取二手房详情的数据
info = {}
#标题(获取标签的属性和文本)
#info['title'] = response.doc('h1.main').attr.title
info['title'] = response.doc('h1.main').text()
#其他信息
info['subTitle'] = response.doc('div.sub').text()
#关注人数
info['attenNum'] = response.doc('#favCount').text()
#观看人数
info['cartCount'] = response.doc('#cartCount').text()
#总价
info['totalPrice'] = response.doc('div.price .total').text()
#单价
info['price'] = response.doc('span.unitPriceValue').text()
#规模
info['model'] = response.doc('div.room .mainInfo').text()
#楼层
info['foolr'] = response.doc('div.room .subInfo').text()
#小区
info['communityName'] = response.doc('div.communityName a.info ').text()
#print(info)
return info
def on_result(self,result):
print('获取到了结果',result)
if result:
try:
#self.col.insert(result)
sql = """
INSERT INTO lianjiadb(%s)
VALUES (%s)
""" % (','.join(result.keys()),','.join(['%s']*len(result)))
data = list(result.values())
self.cursor.exectue(sql,data)
print('数据存储成功')
except Exception as err:
print('数据插入失败',err)
#return {
# "url": response.url,
# "title": response.doc('title').text(),
#}
```
