QUANTAXIS 爬虫部分
目前的QUANTAXIS爬虫是用python的scrapy框架写的,为了运行JavaScript,还使用了selenium+phantomjs作为浏览器内核.爬完的数据都存放在mongodb里面.
原始的quantaxis_spider架构
之后可能会向纯JavaScript爬虫去转变,但目前先把python下的爬虫框架梳理一下.
python -m pip install -i https://pypi.doubanio.com/simple scrapy
python -m pip install -i https://pypi.doubanio.com/simple selenium
安装scrapy,selenium
安装完在命令行输入scrapy
scrapy startproject projectName(你的爬虫名)
cd projectName
安装项目
安装完了会有几个项目
-项目名称
--scrapy.cfg(配置文件)
--爬虫名命名的文件夹
--items.py
--middleware.py
--pipelines.py
--settings.py
--_init.py
--spider(文件夹)
--_init_.py
--爬的网站名命名的python文件.py
第一层目录
第二层目录
第三层目录
运行爬虫在第一层
scrapy crawl 爬虫名
组件都在第二层目录里
items.py 主要是保存的管道
middleware.py 中间件,一般而言,只用他的下载中间件
pipelines.py 和数据库交互的管道
settings.py 设置文件
第三层目录下
主要是核心逻辑,从哪里爬(start_url)
爬到以后的响应处理(从response里面取出,selector去选择你需要的内容),一般是正则化或者是xpath取出
处理后的存储(items的引入)
具体的案例
QUANTAXIS_SPIDER
