2018-09-05 scrapy-spider(一)

    介绍scrapy发出请求,并且处理数据的文件 spider.

    首先介绍命令 scrapy genspider -l

    这个命令可以显示出当前可用的spider模板

    这里有四个模板常用模板是 basic 和 crawl(也不是常用,目前我只用过这两个模板)

    basic模板就是很普通很基础的模板,但是可以用来爬去用ajax渲染数据的网站(比如拉勾网),crawl更偏向于有规则的数据,面对有规律的网站可以很轻松的做到全站爬去。

    如果想创建spider文件,就进入项目中的spider目录(用cmd进入),输入命令 scrapy genspider -t 模板名(比如crawl) 爬虫名 域名

    这样就能创建好一个爬虫软件

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容