Handler处理器 和 自定义Opener opener是 urllib.request.OpenerDirector 的实例,我们之前一直都...
认证&权限 认证和权限是一起配合使用的。可以再配置文件中settings配置全局默认的认证&权限 也可以在每个视图中通过设置authentica...
使用scrapy-redis:Scrapy_redis在scrapy的基础上实现了更多,更强大的功能,具体体现在:reqeust去重,爬虫持久化...
CrawlSpider它是Spider的派生类,Spider类的设计原则是只爬取start_url列表中的网页,而CrawlSpider类定义了...
Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Se...
协程是什么? 协程是python个中另外一种实现多任务的方式,只不过比线程更小占用更小执行单元(理解为需要的资源)。 为啥说它是一个执行单元,因...
多进程 什么是进程 一个程序运行起来后,代码+用到的资源 称之为进程,它是操作系统分配资源的基本单元。不仅可以通过线程完成多任务,进程也是可以的...
多线程 多任务的概念 什么叫“多任务”呢?简单地说,就是操作系统可以同时运行多个任务。 单核CPU如何执行多任务? 多核CPU如何执行多任务? ...
Xpath解析器: 什么是XPath? XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言,可用来在 X...