python scrapy爬虫

由于工作需要,需要做对数据分析和收集有一定了解,于是自己准备收集数据做点小东西。自己的电脑是windows平台下,尝试过用php,但单线程,太慢了。于是转投python,写下自己的流程吧,供大家分享

虽然python最新的已经是python 3.5了,但是因为python2和python3不兼容,很多python库都无法使用了,所以scrapy目前最主流的仍然是基于2.7版本,有兴趣的童鞋可以自己研究python3版本的scrapy。

一、安装python 2.7

安装过程g
  • 检查是否安装成功
    开发cmd,输入python,看到如图所示就说明安装成功了
安装成功

二、安装Twisted

下载地址:http://twistedmatrix.com/trac/wiki/Downloads

Paste_Image.png

一直下一步下一步就可以了

安装成功
三、安装setuptools

下载地址:http://pypi.python.org/pypi/setuptools

Paste_Image.png

一直下一步下一步就可以了,这里就不截图了

四、安装zope
Paste_Image.png
  • 命令行中执行以下命令
    C:\>cd Python27\Scripts C:\Python27\Scripts>easy_install.exe zope.interface-3.8.0-py2.7-win32.egg
  • 就可以成功得到如图所示的内容表明安装完成
Paste_Image.png
  • 验证是否安装成功,通过python引用看看是否报错,正常情况如下
Paste_Image.png
五、安装w3lib
Paste_Image.png
Paste_Image.png
  • 验证一下安装成功了没有,成功如下,正常被引用
Paste_Image.png
六、 安装libxml2
Paste_Image.png
  • 验证是否安装成功,引用成功,我们继续
Paste_Image.png
七、安装pyOpenSSL
Paste_Image.png
  • 验证是否安装成功
Paste_Image.png
八、最后一步安装Scrapy
Paste_Image.png
Paste_Image.png
  • 验证安装,直接输入scrapy。查看运行结果,如下
Paste_Image.png

下一期就给开始正式写爬虫了,敬请期待

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    aimaile阅读 26,651评论 6 427
  • 远古的时候我们学会了使用urllib来抓取一些文章或者图片;后来到了古时候掌握了requests更方便的抓取想要的...
    Medivh_阅读 575评论 0 1
  • 最近因为工作需要,自学了python、scrapy并且写出了自己的第一个爬虫项目。记录过程: 所用的系统:Ubun...
    Zchao阅读 903评论 0 7
  • 自动翻页分为两种情况:此处所举例子有一定的时效性,请具体情况具体分析,方法类似 (1)一种是像我之前爬虫新京报网的...
    yuanxiaolan阅读 28,050评论 2 7
  • 马非觉得自己并不是一只招人讨厌的苍蝇。 他整日整夜最爱在森林里晃悠,听自己双翅拍打出的声音。饿了就会沿着气味去寻找...
    哑谜阅读 270评论 0 1