一、缘起
跟林同学一起学了 python 一周左右的时候，她开始做她的毕业设计，去爬一个网站 。
由于我们都还没接触过动态网站（这里简单的认为是用 ajax 去加载数据的），所以用爬静态网站的方法肯定行不通啦。
然后我查了一小时才发现是数据是动态加载的（真够菜的。。）
二、过程
后来查查资料，发现爬动态网站常用的就几种方法：
1，分析 ajax 请求、参数等，用爬静态网站的方法，直接拿 json 数据。
2，使用 splash 爬取
3，使用 selenium 模拟鼠标操作，去爬取相关数据
第一种方法比较简单，只是分析请求稍微有点费时。林同学用半个小时就用 scrapy 搞定了，才几行代码而已。。
import requests
url = 'http://app.gdstc.gov.cn/sjkf/kjxm'
data = {
'const_dict_id': 10203,
'start': 60,
'length': 30,
}
headers = {'User-Agent': 'Mozilla/5.0(Macintosh;IntelMacOSX10.6;rv:2.0.1)Gecko/20100101Firefox/4.0.1',
"Cookie": "BAIDUID=4650B0B34048BBAA1E0B909B42F5A564:FG=1; BIDUPSID=4650B0B34048BBAA1E0B909B42F5A564; PSTM=1537177909; BDUSS=w0VmEzUFFWTTh0bld5VWVhNVo5MEEyV2ZKdTk3U2stMGZmWVQ1TTRuSnVkOHBiQVFBQUFBJCQAAAAAAAAAAAEAAAD0GzcNaG9uZ3F1YW4xOTkxAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAG7qoltu6qJbTk; pgv_pvi=6774493184; uc_login_unique=19e6fd48035206a8abe89f98c3fc542a; uc_recom_mark=cmVjb21tYXJrXzYyNDU4NjM%3D; MCITY=-218%3A; cflag=15%3A3; SIGNIN_UC=70a2711cf1d3d9b1a82d2f87d633bd8a02893452711; locale=zh; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1539333192; from_lang_often=%5B%7B%22value%22%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%2C%7B%22value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%5D; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; to_lang_often=%5B%7B%22value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%2C%7B%22value%22%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%5D; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1539333307",
}
response = requests.get(url, params=data, headers=headers, timeout=10)
print(response.url)
print(response.status_code)
if response.status_code == 200:
content = response.text
print(content)
然而，我用第二种方法，搞了两个小时，还只能拿到第一页的数据，无法拿到翻页的数据。林同学为她拿到数据而开心的时候，我还在很烦躁地 debug。。
后来，我用了第三种方法，终于还是搞定了。代码如下：
import re
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import pymysql
#创建连接
conn = pymysql.connect(
host='localhost', #主机名
port=3306, #端口号(默认的)
user='root', #用户名
passwd='', #密码
db='technology', #数据库名，需要先自己手动新建
charset='utf8', #这里设置编码是为了输出中文
)
#获取cursor
cur = conn.cursor()
browser = webdriver.Chrome()
wait = WebDriverWait(browser, 10)
url = "http://app.gdstc.gov.cn/app/sjkf/kjxm_10203.jsp"
def start():
print('--started--')
try:
browser.get(url)
# 等待 ajax 加载完成
numbers = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#listTable_paginate > ul > li:nth-child(8) > a")))
get_infos()
return numbers.text
except TimeoutError:
return start()
def next_page(page_number):
print('--paging--')
try:
# 模拟点击下一页
next = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "#listTable_next > a")))
next.click()
# 等待 ajax 刷新完成
wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,"#listTable_paginate > ul > li.paginate_button.active"), str(page_number)))
get_infos()
except TimeoutError:
next_page()
def get_infos():
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#listTable_wrapper #listTable")))
html = browser.page_source
soup = BeautifulSoup(html, "html.parser")
trs = soup.select("tr[role='row']")
for tr in trs[1:]:
info = []
for td in tr:
# print(td.text)
info.append(td.text)
save_to_mysql(info)
# 需要自己先手动建一个 infos 的表，关有相关字段
def save_to_mysql(info):
sql = "insert into infos (name, location, firstTime, validTime) values ('%s', '%s', '%s','%s')" % (info[0], info[1], info[2], info[3])
try:
# 执行sql语句
cur.execute(sql)
# 提交到数据库执行r
conn.commit()
except Exception as e:
print('--Save To MYSQL Error--', e)
# Rollback in case there is any error
conn.rollback()
def main():
try:
total = start()
for i in range(2, int(total) + 1):
next_page(i)
except Exception as e:
print('--Error Occurred--', e)
finally:
# 关闭数据库连接
cur.close()
conn.close()
browser.close()
print('--ended--')
if __name__ == '__main__':
main()
三、后记
写这篇文章主要是为了记录一下我枯燥的学习过程。
四月份前两周主要在学机器学习，那时候觉得，要学的知识又多又难，我学习效率又低，智商也低，真的压力好大。可惜只坚持了两周就不行了。感觉比考研前一个月还累。晒一下前两周的学习时间表：
学习时间表.png
然后这几天主要在学 python 爬虫。
入门 python 爬虫比入门机器学习简单一百倍。。于是现在经常睡到自然醒，无聊了就看电影，做条咸鱼，真是太舒服了。。
