python笔记

移动设备id
https://www.jianshu.com/p/9954d0394832

1.在使用scrapy爬虫的时候,我们常常使用xpath来获取html标签,但是我们经常会用到提取的方法,有两种提取的方法,分别是:
extract():这个方法返回的是一个数组list,,里面包含了多个string,如果只有一个string,则返回['ABC']这样的形式。
extract_first():这个方法返回的是一个string字符串,是list数组里面的第一个字符串。

2.列表生成器:list(range(1, 11))
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

scrapy genspider douban movie.douban.com

cd venv\Scripts
.\activate

scrapy crawl douban -o douban.csv

scrapy crawl douban -o douban.csv --nolog

输出依赖项清单
pip freeze > requirements.txt
根据依赖项清单安装依赖
pip install -r requirements.txt

生产excel


image.png

image.png

settings.py
LOG LEVEL ="WARNING" #将Scrapylog日志调整为最低级别是Waring

1655701111396.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 第一部分 初识Python语言 第1章 程序设计基本方法 1.1 计算机的概念 计算机是根据指令操作数据的设备,具...
    不脱发的程序员阅读 1,133评论 0 1
  • 1. Python的hello-world: print ("Hello, Python!")、 完了 摇就完事儿...
    LunarShade阅读 1,508评论 0 0
  • 一,语句的结束 每一句逻辑行的结束都是以物理行的结束为结束。如果逻辑行想链接两行物理行,请使用“\”,但值得注意的...
    西北偏北阅读 1,166评论 0 3
  • id: 9vyvlNjQhL0ZiLxDj0Apotitle: Kerasdesc: 《Deep Learning...
    walkerwzy阅读 651评论 0 0
  • 基础知识 多行注释""" """ 单行注释 # 快捷键 ctrl + / 第一个知识点 python单引号和双引号...
    没昔阅读 107评论 0 0