win10
python 3.7
vscode
安装Scrapy需要很多依赖库,在安装时候用 pip install scrapy 大部分都可以搞定,在自动安装Twisted库的时候出现了需要安装 c++ 14.0 的提示,到网上就是一顿搜索,发现 c++ 14.0 对应的是 Visual Studio 2015,到微软官网一看,我去 好几个G,不值当啊,果断放弃。又是一顿搜索,发现https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 这里可以下载离线包(这里面有很多其他的库,可以自行搜索),把对应python版本的离线包下载好后,在资源管理器里找到放离线包的文件夹 Shift + 右键 进入 Powershell 输入 pip install + 离线包名称和后缀名,搞定!!
在 cmd 下输入 scrapy version 出现版本号,安装成功。用 scrapy stratprojet 项目名称 创建scrapy项目
Python爬虫学习笔记 - 安装Scrapy
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- Scrapy爬虫教程一 Windows下安装Scrapy的方式和问题总结 Scrapy爬虫教程二 浅析最烦人的反爬...
- 《 利用 Python36,基于 Scrapy 框架的爬虫思路 》 (一)引言利用爬虫抓取网页数据已经是常见技能,...