scrapy的安装和项目创建

1、首先安装wheel

# 安装依赖包
pip install wheel

2、然后下载驱动

https://www.lfd.uci.edu/~gohlke/pythonlibs/

下载网址(在最后面)

下载好后放到桌面,Shift cmd命令符窗口

pip install Twisted-17.9.0-cp36-cp36m-win32.whl

安装

3、安装pywin32

pip install pywin32

4、安装pip install Scrapy

pip install Scrapy

5、创建项目

scrapy startproject ArticleSpider

scrapy startproject spider1

6、创建爬虫类

# tencentPostion为爬虫名,tencent.com为爬虫作用范围

scrapy genspider tencentPostion "tencent.com"

scrapy genspider test "tencent.com"

#自动爬虫的创建

scrapy genspider -t crawl Crawlspider domain.com

ubuntu安装scrapy

1、安装python-dev

# 这里的python需要跟python版本相同
sudo apt-get install python-dev

2、依次安装(我直接跳过了这个阶段 )

sudo apt-get install build-essential

sudo apt-get install libxml2-dev

sudo apt-get install libxslt1-dev

sudo apt-get install python-setuptools

3、最后正常安装

pip install scrapy

4、输入scrapy验证是否安装成功了

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容