1.安装Scrapy
pip install scrapy
2.创建Scrapy项目
python3 -m scrapy startproject pad_wool_crawl // pad_wool_crawl:项目名称
3.创建Scrapy爬虫文件(在项目目录下执行)
python3 -m scrapy genspider 1818tuan 0818tuan.com // 1818tuan:爬虫文件名称;0818tuan.com:爬取的域名
4.运行Scrapy爬虫文件(在项目目录下执行)
python3 -m scrapy crawl 1818tuan // 1818tuan:爬虫文件名称
5.DeBug断点调试(参考文章)
// 1.在项目的文件夹下增加一个文件main.py(scrapy.cfg同等级中)
// 2.在scrapy的spider中设置断点,main.py中用debug调试则可。
from scrapy.cmdline import execute
import os
import sys
if __name__ == '__main__':
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy','crawl','1818tuan']) // 1818tuan:爬虫文件名称