爬虫思路——Selenium获取Cookies

需求: 使用selenium 获取网页 Cookies

爬虫当中的cookie的作用

1 模拟登录 (有的网站你加上cookie也登录不了)

2 反反爬(检查cookie),可以定期自动更新cookies,躲避反爬机制

使用QQ空间进行selenium 获取cookies


步骤一:正常登陆,找到登陆 iframe

先登陆qzone.qq.com, 然后右键检查,找到登陆面板 iframe. 并且获取 src属性内的 URL

步骤二:直接对 src属性内的url 发起请求,并且定位到QQ头像 a标签 (class = 'face'),可以点击头像直接登陆QQ空间,等待页面加载,并获取cookies

步骤三:解析获取cookie(列表格式)

使用cookies_lst = driver.get.cookies() 获得的是cookies列表格式:

真实cookies 只需要如下格式:‘name’ = 'value' 并且用分号‘;’ + 空格‘ ’ 隔开

使用列表生成器,从原始cookie列表中提取 name 与 value的值,并且组合成需要的格式,并且用 分号+空格连接,形成cookie字符串

整体代码,附加使用requests验证cookies有效性

最后检查得到的qzone.html文档,确认是否就是QQ空间网页

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容