初探Scrapy

第一次做笔记,写得不好,请各位多多包涵。

我的操作系统是Ubuntu 16.04 LTS 64 位。Scrapy框架是基于Python写的,这里暂时不写安装Python。

Scrapy的文档:    https://doc.scrapy.org/en/latest/intro/tutorial.html

1.sudo pip install Scrapy        安装Scrapy 【注意:有可能提示没有pip,pip是一个安装和管理 Python 包的工具】

【如果安装了pip,请忽略此步骤一下步骤

a.    wget https://bootstrap.pypa.io/get-pip.py

b.     pip    【查看是否安装成功】

c.    sudo pip install Scrapy        【然后再次安装Scrapy】

2.cd /var/www    【进入到你要存放项目的目录】

3.scrapy startproject demo 【demo是项目名称】

4.打开项目,查看该目录结构如下:

图1

5.然后在spiders目录下创建quotes_spider.py文件,并添加如图代码


图2

6.然后在项目下运行,scrapy crawl quotes    【运行quotes_spider.py文件】,结果如图所示


图3

7.完成。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容