爬取思路
1、获取人气排行榜信息页面，从中提取到每个游戏url
2、把获取到的url加入到队列中
3、从队列中获取url 进行请求获取详情页
4、从详情页获取信息，提取到游戏的信息以及评论信息
代码实现
1、创建一个爬虫类
class Game():
def __init__(self,url):
self.start_url = url
#url队列
self.que = deque()
#页面队列
self.page_que = deque()
self.headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36",
}
2、请求排行榜页面从中获取，从页面中提取每个游戏的连接
按f12检查，刷新页面抓取请求包，进行分析。滚动条向下拉动会出现加载更多，感觉像是Ajax请求。但是通过抓包无法得到ajax请求连接。通过请求页面，对请求的页面的html分析得到，此页面就是个静态页面。我们可以利用xpath可以获取到我们想要的信息。把获取到的url加入到队列中
#获取url
def get_list_url(self):
#列表url
list_url = self.start_url
res = self.req_get(list_url)
HTML = etree.HTML(res.text)
#获取到的url列表
url_list = HTML.xpath("//em[@class='name']/a/@href")
for url in url_list:
new_url = 'https:' + url
# print(new_url)
self.que.append(new_url)
3、从队列中取出url,请求详情页信息
通过抓包分析此页面为动态页面。游戏介绍可以直接获取到，而评论信息无法获取到，因此除评论以外的信息也可以使用xpath进行数据提取。
从队列中获取的url进行请求，获取到详情页的响应response，把响应加入到一个新的队列，方便下一个线程进行提取内容，这样可以加快爬虫的效率。
def get_details(self):
#等待url加入
time.sleep(5)
while len(self.que) != 0:
url = self.que.popleft()
res = self.req_get(url)
self.page_que.append(res)
4、从详情页获取内容
从对类中取出响应，利用lxml中的etree,把响应转换成对象。利用xpath提取内容
def get_info(self):
#等待
time.sleep(10)
while len(self.page_que) != 0:
res = self.page_que.popleft()
if res:
item={}
end = res.encoding
HTML = etree.HTML(res.text.encode(end))
name = HTML.xpath("//h1/text()")
url = res.url
#游戏名
item['game_name '] = self.xpath_info(HTML,"//h1/text()")
#游戏介绍
item['introduce']= self.xpath_info(HTML,"//div[@class='txtArea'][1]/div[@class='txtCon']/div/text()")
通过分析评论信息为ajax动态加载的，可以通过url的拼接得到。
注意
爬虫要适度，不要请求过快，程序员何必为难程序员
完整代码
#coding:utf-8
import requests
import time
from collections import deque
from lxml import etree
import threading
import math
from concurrent.futures import ThreadPoolExecutor
import json
class Game():
def __init__(self,url):
self.start_url = url
#url队列
self.que = deque()
#页面队列
self.page_que = deque()
self.headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36",
}
def run(self):
#获取列表页url
get_list_url_th = threading.Thread(target=self.get_list_url,daemon=True)
get_list_url_th.start()
#获取详情页
get_details = threading.Thread(target=self.get_details,daemon=True)
get_details.start()
#获取内容
get_info = threading.Thread(target=self.get_info,daemon=True)
get_info.start()
get_list_url_th.join()
get_details.join()
get_info.join()
#发送请求
def req_get(self,url):
for i in range(5):
try:
res = requests.get(url=url,headers=self.headers)
if res.status_code == 200:
return res
except:
pass
return ''
#获取url
def get_list_url(self):
#列表url
list_url = self.start_url
res = self.req_get(list_url)
HTML = etree.HTML(res.text)
#获取到的url列表
url_list = HTML.xpath("//em[@class='name']/a/@href")
for url in url_list:
new_url = 'https:' + url
# print(new_url)
self.que.append(new_url)
#获取详情页，
def get_details(self):
#等待url加入
time.sleep(5)
while len(self.que) != 0:
url = self.que.popleft()
res = self.req_get(url)
self.page_que.append(res)
#爬取信息
def get_info(self):
#等待
time.sleep(10)
while len(self.page_que) != 0:
res = self.page_que.popleft()
if res:
item={}
end = res.encoding
HTML = etree.HTML(res.text.encode(end))
name = HTML.xpath("//h1/text()")
url = res.url
#游戏名
item['game_name '] = self.xpath_info(HTML,"//h1/text()")
#游戏介绍
item['introduce']= self.xpath_info(HTML,"//div[@class='txtArea'][1]/div[@class='txtCon']/div/text()")
#获取评论
self.get_comment(item)
def xpath_info(self,HTML,xpaths):
info = HTML.xpath(xpaths)[0] if HTML.xpath(xpaths)[0] else ''
return info
#获取评论信息
def get_comment(self,item):
pass
def write_info(self,item):
with open('游戏排行信息.txt','a',encoding='utf-8') as f:
#ensure_ascii=False关闭ascii写入
f.write(json.dumps(item,ensure_ascii=False))
if __name__ == '__main__':
#起始url
url = 'https://www.3839.com/top/hot.html'
ga = Game(url)
ga.run()
