python中用scrapy框架创建项目

最近在学scrapy框架进行简单爬虫学习,在此简单回顾一下创建项目流程思路。

首先你的安装scrapy运行环境,在此省略,不懂可以百度。

第一步:创建项目 在运行环境按住shift键,单击右键选择【在此打开命令窗口】,打开cmd命令框,输入命令:scrapy startproject qsbk,如下图:

第二步创建爬虫,根据提示进入qsbk目录下 输入“scrapy genspider qsbk_spider”,成功返回如下图:

在此爬虫成功创建了。

第三步就是利用pycharm打开项目,进行操作处理了。打开项目会发现如下图:

这里简单说明一下:

item.py用来存放爬虫爬取下来的数据模型;

middlewares.py用来存放各种中间件的文件;

pipelines.py用来将items的模型存储到本地磁盘中;

scrapy.cfg 表示项目的配置文件。

第四步就是开始编写爬虫了。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容