scrapy框架学习笔记 - 4- 爬虫文件代码分析


1 以上是前一节创建的爬虫代码文件

2 代码分析

name ：标识蜘蛛。它在一个项目中必须是唯一的，即不能为不同的爬行器设置相同的名称。

start_urls: 将要爬取的网址列表

allowed_domains: 只爬取以下域名的数据

def parse(self,response): 输出处理爬取数据的地方，print（response.text）是打印爬取的全部网页数据

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容