前情提要:
女友毕业论文需要进行数据分析, 要从一个舆情网站爬取大量数据, 导入 excel 里进行分析. 遂做了一个爬虫帮她爬取, 不料该网站部分数据是 js 动态获取, 因此学习了 selenium 的 webdriver 爬取动态数据
技术拆分:
- 爬取目标网站并缓存
- 提取网页信息, 本次使用 pyquery
- 建立数据类, 保存提取的信息
- 导入 excel 里, 本次使用 openpyxl
问题一: 使用 requests 爬取后部分数据未加载�
本来好好的用 requests 库进行爬取, 因为要登录, 遂登录后拿到了 cookie. 再次爬取后, 发现部分数据还未加载, requests 库中不存在等待加载的方法, 查到主流方案是使用 selenium 的 webdriver. 由于 phantomjs 已不再被支持, 遂使用 chromedriver
问题二: 是否能像使用 requests 库一样直接通过 add cookie 的方式访问需要登录的页面
结论是: 可以, 但是使用方式有差别, 此处有两个要点
- webdriver 里的 cookie 格式和 requests 里的是有所不同的
- 要先访问一下网站首页, 然后 add cookies, 再访问需要登录的目标网页即可
driver.get('http://yuqing.gsdata.cn')
cookies = driver.get_cookies()
print('cookies', cookies)
for key, value in cookie_dict.items():
c = {
'domain': '.gsdata.cn',
'httponly': False,
'path': '/',
'secure': False,
'name': key,
'value': value,
}
driver.add_cookie(c)
driver.get(url)
time.sleep(5)
# driver.save_screenshot('/Users/natural/Desktop/{}.png'.format(url[-2:]))
# 写入缓存目录
with open(path, 'wb') as f:
f.write(driver.page_source.encode())
content = driver.page_source
源码
import os
import requests
import time
from pyquery import PyQuery as pq
from openpyxl import Workbook
from selenium import webdriver
driver = webdriver.Chrome(executable_path='/Users/natural/Desktop/chromedriver')
log = print
class Model():
"""
基类, 用来显示类的信息
"""
def __repr__(self):
name = self.__class__.__name__
properties = ('{}=({})'.format(k, v) for k, v in self.__dict__.items())
s = '\n<{} \n {}>'.format(name, '\n '.join(properties))
return s
class News(Model):
def __init__(self):
self.title = ''
self.description = ''
self.start_date = ''
self.related = ''
def cached_url(url):
"""
缓存, 避免重复下载网页浪费时间
"""
folder = 'cached'
filename = url.split('=', 1)[-1] + '.html'
path = os.path.join(folder, filename)
if os.path.exists(path):
with open(path, 'rb') as f:
s = f.read()
return s
else:
# 建立 cached 文件夹
if not os.path.exists(folder):
os.makedirs(folder)
# 发送网络请求, 把结果写入到文件夹中
cookie_dict = {
}
driver.get('http://yuqing.gsdata.cn')
cookies = driver.get_cookies()
print('cookies', cookies)
for key, value in cookie_dict.items():
c = {
'domain': '.gsdata.cn',
'httponly': False,
'path': '/',
'secure': False,
'name': key,
'value': value,
}
driver.add_cookie(c)
driver.get(url)
time.sleep(5)
# driver.save_screenshot('/Users/natural/Desktop/{}.png'.format(url[-2:]))
with open(path, 'wb') as f:
f.write(driver.page_source.encode())
content = driver.page_source
log('content', content)
return content
def news_from_div(div):
"""
从一个 div 里面获取到一个电影信息
"""
root = pq(div)
# tbody = root('tbody')
tr_list = root('tr')
news = []
for tr in tr_list[1:]:
sub_root = pq(tr)
item = sub_root('td')
n = News()
n.title = item.eq(0).text()
n.description = item.eq(1).text()
n.start_date = item.eq(2).text()
n.related = item.eq(3).text()
news.append(n)
log('item', n)
return news
def news_from_url(url):
"""
从 url 中下载网页并解析出页面内所有的电影
"""
page = cached_url(url)
e = pq(page)
items = e('.subscr-tb')
# log('debug items', items)
# 调用 movie_from_div
news = news_from_div(items)
return news
def write_to_excel(news):
# 在内存中创建一个workbook对象，而且会至少创建一个 worksheet
wb = Workbook()
ws = wb.get_active_sheet()
ws.title = 'New Title' # 设置worksheet的标题
# 设置单元格的值
height = len(news)
for i in range(height):
new = news[i]
row_index = i + 1
# log('debug title', new.title)
ws.cell(row=row_index, column=1).value = new.title
ws.cell(row=row_index, column=2).value = new.description
ws.cell(row=row_index, column=3).value = new.start_date
ws.cell(row=row_index, column=4).value = new.related
# 最后一定要保存！
wb.save(filename='new_file.xlsx')
def main():
news = []
for i in range(0, 39):
url = 'http://yuqing.gsdata.cn/yuqingSubscribe/index?page={}'.format(i)
page_news = news_from_url(url)
news += page_news
write_to_excel(news)
if __name__ == '__main__':
main()
