移动设备id
https://www.jianshu.com/p/9954d0394832
1.在使用scrapy爬虫的时候,我们常常使用xpath来获取html标签,但是我们经常会用到提取的方法,有两种提取的方法,分别是:
extract():这个方法返回的是一个数组list,,里面包含了多个string,如果只有一个string,则返回['ABC']这样的形式。
extract_first():这个方法返回的是一个string字符串,是list数组里面的第一个字符串。
2.列表生成器:list(range(1, 11))
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
scrapy genspider douban movie.douban.com
cd venv\Scripts
.\activate
scrapy crawl douban -o douban.csv
scrapy crawl douban -o douban.csv --nolog
输出依赖项清单
pip freeze > requirements.txt
根据依赖项清单安装依赖
pip install -r requirements.txt
生产excel
settings.py
LOG LEVEL ="WARNING" #将Scrapylog日志调整为最低级别是Waring