起因
最近手机用谷歌日历,发现可以把课表导入,桌面小插件看课表很方便,然后用js还要开浏览器,于是就去了解了下Node.js,发现可以很方便爬取数据
思路
首先获取网站cookie，然后模拟登陆，再把课表文件下载下来
使用工具
Node.js
superagent, fs 模块
superagent是一个轻量级ajaxAPI，是一个关于HTTP方面的一个库，使用链式写法。
fs是Node.js自带的模块，用于与文件系统进行交互。
安装
$ npm install superagent --save
引用
const superagent = require("superagent")
const fs = require("fs")
使用到的代码
superagent
.[get/post/...](url)
.set()
.send()
.end(function(err,res){
//do something
})
- 设置请求，参数中加入请求地址(例如向baidu发送get请求)
.get("https://www.baidu.com") - 设置请求头
- 单个设置
.set('Referer','https://www.google.com') - 一起设置(传入json数据)
.set({ "Cache-Control": "max-age=0", "Content-Length": "57", })
- 单个设置
- 发送数据(传入json数据)
.send({ "sss":"xxx", "kkk":"yyy", }) - 处理返回数据
.end(function(err, res){ if(err){ return console("xxx出错" + err) } //对得到的res做处理 })- res
- res.text包含为被解析的响应数据
- res.body将解析返回的数据，但是目前只支持三种格式(application/x-www-form-urlencoded， application/json和multipart/form-data)
- res.header响应头,是一个Object
- res.type & res.charset 类型和编码格式
- res.status 状态码
- res
关于superagent的详细内容，可以到简书这篇文章查看
- fs
fs.writeFile(file, data[, options], callback)是一个向本地写入文件的函数。fs.writeFile("result.json", JSON.stringify(res.body.xkxx), function (err) { if (err) { return console.log("文件写入失败" + err) } console.log("文件写入成功") })- 第一个参数是文件名
- 第二个参数是写入的数据
- 第三个参数是可选参数，指定编码格式。
- 第四个参数是回调函数,回调函数只有一个参数，就是error
关于fs模块的详细内容，可以到这篇api文档查看查看
接下来是爬虫过程
分析页面
打开登陆页面，清除cookie，F12打开控制台，切换到Network选项卡，刷新页面
network
发现4个文件，很明显login文件是我们要的，其他都是网站资源文件
点击login
login文件
查看General头，发现请求发放是get
查看response Headers，找到set-Cookie
查看Request Headers，将请求头复制下来，以模拟登陆
接下来进行第一步，获得cookie
//获取cookie, url 和 headers根据上文在上方定义出来
var cookie
superagent.get(url)
.set(headers)
.end(function (err, res) {
if (err) {
return console.log("获取cookie发生错误")
}
cookie = res.headers["set-cookie"]
console.log("获得到的cookie为：" + cookie)
//模拟登陆
login()
})
第二步，模拟登陆
勾选上Preserve log(在页面刷新或更改之间保留控制台历史记录。 消息将一直存储，直至清除控制台或者关闭标签。)
Preserve log
然后点击登录按钮
查找模拟登陆发送数据页面
经过分析发现是名为j_spring_security_check的文件接收到Form Data数据，进行登陆验证
点击文件，查看
j_spring_security_check文件的Grneral
发现请求方法是POST，地址为http://xsjwxt.sxau.edu.cn:7872/j_spring_security_check
继续看请求头，
j_spring_security_check文件的Request Headers
发现里面有cookie请求头，但是我们前面获取过了，所以将除了cookie的请求头复制下来
然后set里面设置cookie就好啦
接着查看Form Data
Form Data
多次试验发现j_captcha1是固定值error(ps: 无语)
然后将Form Data 需要的数据写成一个json变量，send出去
function login() {
superagent.post("http://xsjwxt.sxau.edu.cn:7872/j_spring_security_check")
.set(headers1)
.set("Cookie", cookie)
.send(sxau)
.end(function (err, res) {
if (err) {
return console.log("模拟登陆出错")
}
//爬取课表页面
course()
})
}
然后就进入课表页面爬取数据啦
和上面一样的操作爬取下来，发现并没有得到数据，经过观察发现课表是用js代码在页面加载完毕后写入的，
于是在Network一一查看文件，最后发现是名为callback的文件返回的是课程数据的json格式
callback文件
于是直接爬取callback文件
经过和上面一样的操作，将课表成功下载到本地
function getClass() {
superagent.get("http://xsjwxt.sxau.edu.cn:7872/student/courseSelect/thisSemesterCurriculum/ajaxStudentSchedule/callback")
.set("DNT",1)
.set("Referer", "xsjwxt.sxau.edu.cn:7872/student/courseSelect/thisSemesterCurriculum/index")
.set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")
//.set("selectionBar",82022)
.set("Host", "xsjwxt.sxau.edu.cn:7872")
.set("X-Requested-With", "XMLHttpRequest")
.set("Accept", "*/*")
.set("Accept-Encoding", "gzip, deflate")
.set("Proxy-Connection", "keep-alive")
.set("Cookie", cookie)
.end(function (err, res) {
if (err) {
return console.log("获取课表文件失败" + err)
}
fs.writeFile("result.json", res.text, function (err) {
if (err) {
return console.log("课表文件写入失败" + err)
}
console.log("课表文件写入成功")
})
})
}
查找课程数据时，发现getSectionAndTime文件返回的是课程时间，于是把getSectionAndTime文件下载下来，然后配合课表文件，就可以很方便处理成Google日历可以导入的ics文件了。
运行结果：
运行结果
所有代码
const superagent = require("superagent")
const fs = require("fs")
//需要的登陆信息
var sxau = {
"j_username": name,
"j_password": password,
"j_captcha1": "error",
}
var url = "http://xsjwxt.sxau.edu.cn:7872"
//请求头
var headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
"Accept-Encoding": "gzip, deflate",
"Accept-Language": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7",
"Cache-Control": "max-age=0",
"Content-Length": "57",
"Content-Type": "application/x-www-form-urlencoded",
"DNT": "1",
"Host": "xsjwxt.sxau.edu.cn:7872",
"Origin": "http://xsjwxt.sxau.edu.cn:7872",
"Connection": "keep-alive",
"Referer": "http://xsjwxt.sxau.edu.cn:7872/login",
"Upgrade-Insecure-Requests": "1",
},
headers1 = {
"DNT": 1,
"Referer": "xsjwxt.sxau.edu.cn:7872/student/courseSelect/thisSemesterCurriculum/index",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
"Host": "xsjwxt.sxau.edu.cn:7872",
"X-Requested-With": "XMLHttpRequest",
"Accept-Encoding": "gzip, deflate",
"Proxy-Connection": "keep-alive",
}
//获取cookie
var cookie
superagent.get(url)
.set(headers)
.end(function (err, res) {
if (err) {
return console.log("获取cookie发生错误")
}
cookie = res.headers["set-cookie"]
console.log("获取到的cookie是：" + cookie)
login()
})
//模拟登陆
function login() {
superagent.post("http://xsjwxt.sxau.edu.cn:7872/j_spring_security_check")
.set(headers)
.set("Cookie", cookie)
.send(sxau)
.end(function (err, res) {
if (err) {
return console.log("模拟登陆出错")
}
getClass()
getTime()
})
}
function getClass() {
superagent.get("http://xsjwxt.sxau.edu.cn:7872/student/courseSelect/thisSemesterCurriculum/ajaxStudentSchedule/callback")
.set(headers1)
.set("Accept", "*/*")
.set("Cookie", cookie)
.end(function (err, res) {
if (err) {
return console.log("获取课表文件失败" + err)
}
fs.writeFile("result.json", res.text, function (err) {
if (err) {
return console.log("课表文件写入失败" + err)
}
console.log("课表文件写入成功")
})
})
}
function getTime() {
superagent.post("http://xsjwxt.sxau.edu.cn:7872/ajax/getSectionAndTime")
.set(headers1)
.set("Accept", "application/json, text/javascript, */*; q=0.01")
.set("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8")
.set("Cookie", cookie)
.end(function (err, res) {
if (err) {
return console.log("获取上课时间失败" + err)
}
fs.writeFile("time.json", res.text, function (err) {
if (err) {
return console.log("上课时间文件写入失败")
}
console.log("上课时间文件写入成功")
})
})
}
