Python爬虫学习6-Scrapy安装使用

1、安装scrapy

在命令提示符下使用:
mkvirtualenv article建立名字为article的虚拟环境。
在虚拟环境下pip install -i https://pypi.douban.com/simple scrapy安装scrapy

若遇安装错误,可以根据错误提示安装相应依赖包。
或安装anaconda,使用conda install -c conda-forge scrapy=1.3.3安装

2、建立工程和项目

建立工程
scrapy startproject articlespider
建立项目
scrapy genspider jobbole blog.jobbole.com/all-posts

在工程目录(articlespider)下建立文件main.py:

from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "jobbole"])

通过这个文件来运行爬虫。

最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容