上面提到用requests的缺点是, 他只是个很简单的request-response工具. 遇到页面复杂的网站, 就必须对一个页面加载开始到结束干了什么有一些了解, 然后找出正真的url. 还得伪造一些headers信息. 如果是复杂的爬虫(不止是爬一个页面, 而是涉及网站登录, 多个组合动作). requests就很麻烦了.
那就用webdriver吧.
你会像见鬼一样看到程序运行后, 浏览器自动弹出来, 自动打开一个网站, 键盘自动输入了用户名密码, 然后自动一页一页的跳, 跳一页爬一页....
[显然这个工具不止能做爬虫, 还能做很多浏览器自动化操作]
下面就来展示一下这个操作.
我们来自动登录一下简书:
eeee.png
步骤1 准备工作
需要下载浏览器驱动. 我一般使用chrome浏览器, 所以就下载chrome浏览器驱动.
下载地址: http://chromedriver.storage.googleapis.com/index.html
特别注意: 浏览器驱动兼容性不是很好. 也就是用的时候可能会遇到问题, 如果百度,google查不到原因, 可以尝试换个不同version的驱动
步骤2 写代码
from selenium import webdriver
driver = webdriver.Chrome("C:\\software\\browsers\\chromedriver.exe")
driver.get("https://www.jianshu.com/sign_in") #上面截图我们看到简书登陆地址是这个
account_input = driver.find_element_by_id("session_email_or_mobile_number")
account_input.send_keys("我的账号")
password_input = driver.find_element_by_id("session_password")
account_input.send_keys("我的密码_小心泄露出去")
click_button = driver.find_element_by_id("sign-in-form-submit-btn")
click_button.click() #点下登陆按钮
特别注意, 别把自己的密码写上去还分享给别人.....
发现问题 报错
image.png
百度搜下这个问题: 发现说是driver版本问题, 换一个新版本的chromedriver.exe就好了.
然后就能看到浏览器自动"动"了 .......这个技能其实很重要
其他都差不多. 了解下webdriver支持的函数. 再了解下beautifulsoap的函数....基本就这些了.
