scrapy安装和使用

在Windows平台上安装scrapy,直接采用pip install scrapy从来没有成功过。

下面说一下安装步骤:

首先scrapy的安装之前需要安装这个模块:wheel、lxml、Twisted、pywin32,最后在安装scrapy

1.lxml这个库是用来做xpath提取的,这个库非常容易安装,直接在cmd窗口输入:pip intsall lxml

2.直接在cmd中输入pip install wheel,如果你是刚安装python,按可能在安装的时候会报错,原因是pip的版本太低,故你需要在此步骤之前,更新一下pip,直接在cmd中输入:python -m pip install --upgrade pip

(whl就是一种zip包格式,所以我们需要先安装wheel模块才能安装whl包)

3.安装Twisted
下载链接:https://www.lfd.uci.edu/~gohlke/pythonlibs/

我下载的是这个:


image.png

在Twisted所在的文件夹cmd进入命令行窗口:
pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

4.安装pywin32
和步骤3一样。


image.png

5.pip install scrapy

6.打开cmd,输入scrapy,查看信息,有信息就肯定成功了

image.png

scrapy使用

scrapy startproject myspider        -----------创建scrapy项目
cd myspider                         -----------进入myspider目录
scrapy genspider baidu baidu.com     ------------创建爬虫文件

scrapy crawl baidu                   -------------运行文件
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容