1.第一步：创建爬虫项目
image.png
2.使用pycharm打开爬虫项目
image.png
打开结果如下(目录结构):
image.png
3.第三步：创建爬虫
说明：在ivskyspider文件中创建，所以需要先进入ivskyspider
说明:一个项目可以创建多个爬虫文件
image.png
4.第四步：打开新建的爬虫文件ivsky.py文件结构如下：
image.png
5.执行代码：
方法一：打开Teminal
image.png
方法二：在第一个IvskySpider的位置新建文件不想在终端运行程序时，先新建此文件，然后运行from scrapy import cmdlinecmdline.execute(['scrapy', 'crawl', 'ivsky'])爬取数据：scrapy的基本用法
image.png
- 通过命令创建项目scrapy startproject 项目名称
- 用pycharm打开项目
- 通过命令创建爬虫scrapy genspider 爬虫名称 域名
- 配置settingsrobots_obey=FalseDownload_delay=0.5Cookie_enable=False
- 自定义UserAgentMiddleWare可以直接粘现成的或者自己通过研究源码实现
- 开始解析数据1) 先大致规划一下需要几个函数2) 函数1跳转到函数2使用 yield scrapy.Request(url,callback,meta,dont_filter)7. 将数据封装到items,记得yield item8. 自定义pipelines将数据存储到数据库/文件中
