pyspider是一个强大的爬虫框架,具体我就不多说明了,在使用它之前首先需要安装PhantomJS
安装PhantomJS
PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速、原生支持各种Web标准:DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。
brew install phantomjs
安装pyspider
pyspider需要在python2上运行,使用系统的python可能会有无法安装等错误,
请参考python安装
pip2 install pyspider
如果出现一大堆红字的错误
xcode-select --install
选择安装,等待安装完成
再次执行上面的pip
命令
安装过程较长,最后结果
Successfully installed Flask-Login-0.3.2 lxml-3.6.0 pycurl-7.43.0 pyquery-1.2.13 pyspider-0.3.7 requests-2.9.1 wsgidav-1.2.0
运行pyspider
pyspider
恭喜,终于完成了安装
打开safari,输入 0.0.0.0:5000即可进入webui,具体使用方式请见后面的文章
如果有红字,failed import之类的,可能是不小心把pyspider装在了python3上
pip3 uninstall pyspider
pip2 install pyspider
重新打开终端,再次运行pyspider