情景介绍
因为疫情,在家办公,恰逢年初,无所事事。
产品:我需要xxx数据,你给我去爬xxx网站
菜鸡楼主:????????????
产品:不行?
菜鸡楼主:虽然都是python但是我不会爬虫呀。
产品:给你时间学
菜鸡楼主:???????????????????????
产品:不能爬?
菜鸡楼主:。。。。。。。可以 ,但是----
产品:那就爬,没有但是。
所以饱受折磨的楼主只能卑微的开始爬数据了(爬虫书籍掉公司了,心态更差了)
然后 我们死在了光荣的第一步,安装python的Scrapy框架
按理来说 我们只需要轻松地pip install scrapy 然后喝杯茶 就装好了
但是 突然发现不对劲,pip自动安装 Twisted模块会报错
这就很尴尬了
然后 楼主只能尝试手动下载前置模块了
pip install pypiwin32
ok 完美
然后。。重点来了 pip install twisted 依旧报错了?????
那没办法了 只能去下载whi文件了
怎么下载twisted对应版本的whl文件呢?
比如楼主顺手下载的是Twisted-19.10.0-cp36-cp36m-win_amd64(忘记本机装的python3.8)
这里说一下cp后面是python版本,win_amd64代表64位
下载下来后放到桌面 然后shift + 鼠标右键打开终端 直接 pip install Twisted-19.10.0-cp36-cp36m-win_amd64
然后 光荣的报错了,心好累
Twisted-19.10.0-cp36-cp36m-win_amd64.whl is not a supported wheel on this platform.
大概意思是 我不支持解析你这个版本
嗯?????? 开始变得有趣了起来
然后查阅了一下 python的pip模块有语法能够查看当前支持的版本(才想起来自己装的python3.8)
ps:py2和py3的查询语法不兼容,这里列出python3的
然后让我们重新去下一个3.8的可以支持文件
然后 pip install 就成功安装了
既然前置文件好了 那么 我们就来pip install scrapy
这下总算装好了
记录一下 免得以后又忘了 o(╯□╰)o