配置前先安装python3,参考: http://www.jianshu.com/p/097f5c19bf7e
virtualenv环境配置
1、手动建立:
第一步 建立虚拟环境
新建一个virtualenv 文件夹 cd 进去
mkdir python3env
敲下面命令
pip3 install virtualenv
2.创建虚拟环境: (-p 后面是python3的路径 )
linux :
virtualenv -p /usr/bin/python3 py3env
win :
\Users\J\AppData\Local\Programs\Python\Python35\python
3.激活虚拟环境
win:
C:\Users\J\Desktop\pachong\Virtual\python03\Scripts\activate.bat
Linux：
source py3env/bin/activate
4.安装Twisted
scrapy环境前要先安装Twisted 不然会报错
下载Twisted (复制下面命令)
wget https://files.pythonhosted.org/packages/a2/37/298f9547606c45d75aa9792369302cc63aa4bbcf7b5f607560180dd099d2/Twisted-17.9.0.tar.bz2
解压:
tar -xf Twisted-17.9.0.tar.bz2
进入目录:
cd Twisted-17.9.0
安装:
python3 setup.py install
成功:
Finished processing dependencies for Twisted==17.9.0
如果报错:
yum install python-devel #Debin/Ubuntu
apt-get install python3-dev #Centos/Fedora
5.安装django&Scrapy环境:
创建一个list_requirements.txt(用来批量安装包)
vim list_requirements.txt
把下面的包复制到 list_requirements.txt 并保存:
Django==1.11
olefile==0.44
Pillow==4.2.1
pytz==2017.2
asn1crypto==0.23.0
attrs==17.3.0
Automat==0.6.0
beautifulsoup4==4.6.0
bs4==0.0.1
certifi==2017.7.27.1
cffi==1.11.2
chardet==3.0.4
colorama==0.3.9
constantly==15.1.0
cryptography==2.1.3
cssselect==1.0.1
decorator==4.1.2
fake-useragent==0.1.8
hyperlink==17.3.1
idna==2.6
incremental==17.5.0
ipython==6.2.1
ipython-genutils==0.2.0
jedi==0.11.0
jsonpath==0.75
lxml==4.1.1
parsel==1.2.0
parso==0.1.0
pickleshare==0.7.4
prompt-toolkit==1.0.15
pyasn1==0.3.7
pyasn1-modules==0.1.5
pycparser==2.18
PyDispatcher==2.0.5
Pygments==2.2.0
PyMySQL==0.7.11
pyOpenSSL==17.3.0
queuelib==1.4.2
redis==2.10.6
requests==2.18.4
Scrapy==1.4.0
scrapy-redis==0.6.8
selenium==3.7.0
service-identity==17.0.0
simplegeneric==0.8.1
six==1.11.0
traitlets==4.3.2
urllib3==1.22
w3lib==1.18.0
wcwidth==0.1.7
zope.interface==4.4.3
安装环境
pip3 install -r py_list_requirements.txt
如果出现版本报错 ,更新一下pip3命令:
pip3 install --upgrade pip
抓包软件安装
chrome 中安装一个Proxy SwitchyOmega
并新建情景模式配置一个
- 启动Fiddler，打开菜单栏中的 Tools > Options，打开“Options”对话框。
-
- 对Fiddler进行设置：
- o 打开工具栏->Tools->Fiddler Options->HTTPS，
- o 选中Capture HTTPS CONNECTs (捕捉HTTPS连接)，
- o 选中Decrypt HTTPS traffic（解密HTTPS通信）
- o 另外我们要用Fiddler获取本机所有进程的HTTPS请求，所以中间的下拉菜单中选中...from all processes （从所有进程）
- o 选中下方Ignore server certificate errors（忽略服务器证书错误）
为 Fiddler 配置Windows信任这个根证书解决安全警告：Trust Root Certificate（受信任的根证书）。
Fiddler 主菜单 Tools -> Options…-> Connectionso 选中Allow remote computers to connect（允许远程连接）o Act as system proxy on startup（作为系统启动代理）
重启Fiddler，使配置生效（这一步很重要，必须做）。
