windows7(64位)+python3.4.2搭建scrapy爬虫框架

安装前的建议:下面提到的所有需要安装的包,建议都通过pip install .....的形式在cmd自动进行安装,如果由于网络和墙的原因导致pip install ...安装失败,再到需要安装的包对应的官网去下载符合自己机器版本的包然后手动安装。此处如果你的机器系统和python版本和我标题上的版本对应,要手动下载的包我之前已经都下好了,请到http://download.csdn.net/detail/qq_28155529/9878339下载。

请认真参考http://www.jianshu.com/p/f05c25ba54ebhttp://www.open-open.com/lib/view/open1383291459613.html两篇文章后,再按我下面总结的步骤进行安装!

第一步:安装pip(如果之前安装python过程中,安装过这一步跳过)

pip 是一个安装和管理Python 包的工具 , 是 easy_install 的一个替换品。.whl文件的安装包,是通过pip来安装的。

pip安装请参考:http://www.jianshu.com/p/21b758541825

第二步:安装pywin32

先尝试使用:pip install pypiwin32进行安装,如果不行再通过上文我分享的包进行安装或者自己到http://sourceforge.net/projects/pywin32/files/pywin32/网站上去下载符合自己机器版本的包。

第三步:安装pyOpenSSL

先尝试使用:pip install pyOpenSSL进行安装,如果不行再通过上文我分享的包进行安装或者自己到https://pypi.python.org/pypi/pyOpenSSL网站上去下载符合自己机器版本的包。

第四步:安装zope.interface

先尝试使用:pip install zope.interface进行安装,如果不行再通过上文我分享的包进行安装或者自己到https://pypi.python.org/pypi/zope.interface#download网站上去下载符合自己机器版本的包。

第五步:安装twisted

注意安装twisted前一定要先安装上文提到的pywin32,pyOpenSSL,zope.interface包,因为它们是twisted包所依赖的几个包。

先尝试使用:pip install twisted进行安装,如果不行再通过上文我分享的包进行安装或者自己到http://twistedmatrix.com/trac/wiki/Downloads网站上去下载符合自己机器版本的包。

第六步:安装lxml

先尝试使用:pip install lxml进行安装,如果不行再通过上文我分享的包进行安装或者自己到http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml网站上去下载符合自己机器版本的包。

第七步:安装scrapy

先尝试使用:pip install scrapy进行安装,如果不行再通过上文我分享的包进行安装或者自己到https://pypi.python.org/pypi/Scrapy网站上去下载符合自己机器版本的包。

到此整个scrapy框架就搭建完成了!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容