scrapy fetch https://www.baidu.com --nolog#爬虫

scrapy shell http://ww.baidu.com#进入交互模式

scrapy version#查看版本

scrapy view http://news.163.com#爬网易新闻以网页形式打开

scrapy -h#查看命令

scrapy bench#测试爬虫最大条数

scrapy startproject first#创建爬虫项目

#进入first文件夹下cd first

scrapy genspider -l#查看爬虫模板

scrapy genspider -t basic weisu baidu.com#创建爬虫文件

scrapy check weisu#检查测试爬虫文件

scrapy crawl weisu#运行爬虫文件

scrapy list#展示可使用的爬虫文件

scrapy parse http://www.baidu.com

#xpath用法

/依次寻找

//查找所有

@查找属性

text()查找文本内容

//标签[@属性=值]/标签/@属性