pyspider 安装

安装环境3.9

1、Phantomjs 安装

下载:https://phantomjs.org/download.html
解压后把bin目录添加入环境变量path中

2、pycurl 安装

下载:https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl
下载对应版本
用 pip install <包名> 安装

3、pyspider安装

pip install pyspider

4、文件修改

1) async修改

pyspider报错处理 2、3、4的解决方法进行操作

2)webdav.py文件

找到/pyspider/webui/webdav.py文件

将'domaincontroller': NeedAuthController(app),

修改为

'http_authenticator':{

        'HTTPAuthenticator':NeedAuthController(app)

},

3、base_handler文件修改

# 添加
import math
115 行的min_tick = .... 改为
min_tick = math.gcd(min_tick, each.tick)

5、降版本

pip install werkzeug==0.16.1
pip install flask==1.0
pip install Flask==1.1.4
pip install markupsafe==2.0.1
wsgidav==2.4.1

6、启动

pyspider all

pyspider报错处理

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容