爬虫07day

什么是pyquery?

是jquery的python的python实现,同样可以从html文档中提取数据 ,易用性和解读行都很好。

find(selector) : 使用css选择器查找
filter(selector) : 根据id或者class过滤节点
直接对pyquery对象使用css选择器查找节点
.eq(index) : 根据索引获取指定的节点(从0开始)
.text(): 获取节点的文本
.attr('属性名') :获取节点的属性

队列的使用:

在线程中多用队列作为数据交换的方式,因为队列是线程安全的,python原声的lits,dict是非线程安全的,需要跟线程锁配合使用,所以正式因为队列是线程安全的,所以在线程中多用队列作为数据交换的方式

print(que.full()) #判断队列是否满了
print(que.empty()) #判断队列是否为空
print(que.qsize()) #获取大小
put()方法往队列中存值
maxsize设置队列存放数据的最大值
lock = threading.Lock() 创建锁
lock.acquire() 加锁
lock.release() 解锁

创建线程

target:线程要执行的目标函数
name:给线程起一个名称
args:传参数(元组)
kwargs:传参数(字典)

创建线程锁:

保护资源,添加了线程锁之后,同一时刻只能有一个线程在修改资源

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容