安装
pip install pyspider
安装出错:
src/pycurl.h:164:13: fatal error: openssl/ssl.h: 没有那个文件或目录
# include <openssl/ssl.h>
^~~~~~~~~~~~~~~
compilation terminated.
error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
sudo apt-get install openssl
sudo apt-get install libssl-dev
pip install pyspider
安装成功后执行
pyspider all
在浏览器访问
http://0.0.0.0:5000/
可看到如下界面,点击Create
2018-07-16 17-42-38屏幕截图.png
输入自己取的name和开始抓取的url,点击Create
2018-07-16 17-42-56屏幕截图.png
进入项目后,右侧写代码保存,返回首页点击run
2018-07-16 17-44-40屏幕截图.png
在result里可看到抓取的结果
2018-07-16 17-45-07屏幕截图.png
