由于工作需要,需要做对数据分析和收集有一定了解,于是自己准备收集数据做点小东西。自己的电脑是windows平台下,尝试过用php,但单线程,太慢了。于是转投python,写下自己的流程吧,供大家分享
虽然python最新的已经是python 3.5了,但是因为python2和python3不兼容,很多python库都无法使用了,所以scrapy目前最主流的仍然是基于2.7版本,有兴趣的童鞋可以自己研究python3版本的scrapy。
一、安装python 2.7
- 下载python
下载地址:http://www.python.org/ftp/python/2.7.9/python-2.7.9.msi - 安装,记得勾选以下两项。不然就需要配置环境变量,很是麻烦。
(偷懒截图用的雪峰老师的,推荐雪峰老师的博客:http://www.liaoxuefeng.com/)
- 检查是否安装成功
开发cmd,输入python,看到如图所示就说明安装成功了
二、安装Twisted
下载地址:http://twistedmatrix.com/trac/wiki/Downloads
一直下一步下一步就可以了
三、安装setuptools
下载地址:http://pypi.python.org/pypi/setuptools
一直下一步下一步就可以了,这里就不截图了
四、安装zope
下载链接地址:http://pypi.python.org/packages/2.7/z/zope.interface/zope.interface-4.0.1-py2.7-win32.egg
-
将egg文件拷到我们的目标文件夹中,如图所示
- 命令行中执行以下命令
C:\>cd Python27\Scripts C:\Python27\Scripts>easy_install.exe zope.interface-3.8.0-py2.7-win32.egg
- 就可以成功得到如图所示的内容表明安装完成
- 验证是否安装成功,通过python引用看看是否报错,正常情况如下
五、安装w3lib
- 下载链接:http://pypi.python.org/packages/source/w/w3lib/w3lib-1.2.tar.gz
- 解压缩后发现有个stup.py的文件,我们用python命令执行安装命令
- 验证一下安装成功了没有,成功如下,正常被引用
六、 安装libxml2
- 下载地址:http://users.skynet.be/sbi/libxml-python/binaries/libxml2-python-2.7.7.win32-py2.7.exe
- 简单的exe安装直接下一步下一步就可以了
- 验证是否安装成功,引用成功,我们继续
七、安装pyOpenSSL
- 下载地址:http://pypi.python.org/packages/2.7/p/pyOpenSSL/pyOpenSSL-0.13.winxp32-py2.7.msi
- exe文件直接安装,这里可以直接选择进行安装
- 验证是否安装成功
八、最后一步安装Scrapy
- 下载地址:http://pypi.python.org/packages/source/S/Scrapy/Scrapy-0.14.4.tar.gz
- 发现一个setup.py文件,我们用python命令进行安装
- 验证安装,直接输入scrapy。查看运行结果,如下
下一期就给开始正式写爬虫了,敬请期待