登录获取token 可以说是爬虫里面最难的点,其他的只要能在浏览器上显示的都可以用http工具获取。只要稍微有点安全意识的网站登录都比较复杂,JS混淆甚至可能密码加密等等操作。
工具准备
1、selenium 依赖添加。
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>3.141.59</version>
</dependency>
2、谷歌浏览器驱动。驱动下载-》http://npm.taobao.org/mirrors/chromedrive 或者
https://chromedriver.storage.googleapis.com/index.html?path=75.0.3770.140/
3、本地电脑安装谷歌浏览器,(其他浏览器也可以,需要下载对应其他的驱动程序)
编码爆破获取token
package cn.harsons.crawling.crawling.reptile;
import lombok.extern.slf4j.Slf4j;
import org.openqa.selenium.By;
import org.openqa.selenium.Cookie;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import java.util.Set;
import java.util.stream.Collectors;
/**
* @author liyabin
* @date 2020/3/20 0020
*/
@Slf4j
@Component
public class TokenHander {
@Autowired
private Config config;
public String token() throws Exception {
//设置本地chrome driver地址 这里是你下载的谷歌浏览器 驱动路径。
System.setProperty ("webdriver.chrome.driver", config.getDrivePath ());
//创建无Chrome无头参数
ChromeOptions chromeOptions = new ChromeOptions ();
chromeOptions.addArguments ("-headless");
//创建Drive实例
WebDriver driver = new ChromeDriver (chromeOptions);
// 打开网站
driver.get (config.getLoginUrl ());
String currentUrl = driver.getCurrentUrl ();
log.info ("当前连接" + currentUrl);
// 获取浏览器页面上的节点 类似 document.getElementById()
//拿到用户名 和密码的输入框句柄
WebElement userName = driver.findElement (By.id ("userName"));
WebElement password = driver.findElement (By.id ("password"));
//向用户名和密码输入框中写入值
userName.sendKeys (config.getUserName ());
password.sendKeys (config.getPassword ());
// 拿到登录按钮的句柄
WebElement login_button = driver.findElement (By.className ("btn-submit"));
// 模拟点击登录
login_button.click ();
currentUrl = driver.getCurrentUrl ();
log.info ("当前连接" + currentUrl);
// 拿到cookie 信息
Set<Cookie> cookies = driver.manage ().getCookies ();
return cookies.stream ().map (entity -> entity.getName () + "=" + entity.getValue ()).collect (Collectors.joining (";"));
}
}