爬取思路

1、获取人气排行榜信息页面，从中提取到每个游戏url
2、把获取到的url加入到队列中
3、从队列中获取url 进行请求获取详情页
4、从详情页获取信息，提取到游戏的信息以及评论信息

代码实现

1、创建一个爬虫类

class Game():
    def __init__(self,url):
        self.start_url = url
        #url队列
        self.que = deque()
        #页面队列
        self.page_que = deque()
        self.headers={
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36",
                        }

2、请求排行榜页面从中获取，从页面中提取每个游戏的连接

按f12检查，刷新页面抓取请求包，进行分析。滚动条向下拉动会出现加载更多，感觉像是Ajax请求。但是通过抓包无法得到ajax请求连接。通过请求页面，对请求的页面的html分析得到，此页面就是个静态页面。我们可以利用xpath可以获取到我们想要的信息。把获取到的url加入到队列中

#获取url
    def get_list_url(self):
        #列表url
        list_url = self.start_url
        res = self.req_get(list_url)
        HTML = etree.HTML(res.text)
        #获取到的url列表
        url_list = HTML.xpath("//em[@class='name']/a/@href")
        for url in url_list:
            new_url = 'https:' + url
            # print(new_url)
            self.que.append(new_url)

3、从队列中取出url,请求详情页信息

通过抓包分析此页面为动态页面。游戏介绍可以直接获取到，而评论信息无法获取到，因此除评论以外的信息也可以使用xpath进行数据提取。
从队列中获取的url进行请求，获取到详情页的响应response，把响应加入到一个新的队列，方便下一个线程进行提取内容，这样可以加快爬虫的效率。

    def get_details(self):
        #等待url加入
        time.sleep(5)
        while len(self.que) != 0:
            url = self.que.popleft()
            res = self.req_get(url)
            self.page_que.append(res)

4、从详情页获取内容

从对类中取出响应，利用lxml中的etree,把响应转换成对象。利用xpath提取内容

    def get_info(self):
        #等待
        time.sleep(10)
        while len(self.page_que) != 0:
            res = self.page_que.popleft()
            if res:
                item={}
                end = res.encoding
                HTML = etree.HTML(res.text.encode(end))
                name = HTML.xpath("//h1/text()")
                url = res.url
                #游戏名
                item['game_name '] = self.xpath_info(HTML,"//h1/text()")
                #游戏介绍
                item['introduce']= self.xpath_info(HTML,"//div[@class='txtArea'][1]/div[@class='txtCon']/div/text()")

通过分析评论信息为ajax动态加载的，可以通过url的拼接得到。

注意

爬虫要适度，不要请求过快，程序员何必为难程序员

完整代码

#coding:utf-8
import requests
import time
from collections import deque
from lxml import etree
import threading
import math
from concurrent.futures import ThreadPoolExecutor
import json
class Game():
    def __init__(self,url):
        self.start_url = url
        #url队列
        self.que = deque()
        #页面队列
        self.page_que = deque()
        self.headers={
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36",
                        }
    def run(self):
        #获取列表页url
        get_list_url_th = threading.Thread(target=self.get_list_url,daemon=True)
        get_list_url_th.start()
        #获取详情页
        get_details = threading.Thread(target=self.get_details,daemon=True)
        get_details.start()
        #获取内容
        get_info = threading.Thread(target=self.get_info,daemon=True)
        get_info.start()
        get_list_url_th.join()
        get_details.join()
        get_info.join()
    #发送请求
    def req_get(self,url):
        for i in range(5):
            try:
                res = requests.get(url=url,headers=self.headers)
                if res.status_code == 200:
                    return res
            except:
                pass
        return ''
    #获取url
    def get_list_url(self):
        #列表url
        list_url = self.start_url
        res = self.req_get(list_url)
        HTML = etree.HTML(res.text)
        #获取到的url列表
        url_list = HTML.xpath("//em[@class='name']/a/@href")
        for url in url_list:
            new_url = 'https:' + url
            # print(new_url)
            self.que.append(new_url)
    #获取详情页，
    def get_details(self):
        #等待url加入
        time.sleep(5)
        while len(self.que) != 0:
            url = self.que.popleft()
            res = self.req_get(url)
            self.page_que.append(res)
    #爬取信息
    def get_info(self):
        #等待
        time.sleep(10)
        while len(self.page_que) != 0:
            res = self.page_que.popleft()
            if res:
                item={}
                end = res.encoding
                HTML = etree.HTML(res.text.encode(end))
                name = HTML.xpath("//h1/text()")
                url = res.url
                #游戏名
                item['game_name '] = self.xpath_info(HTML,"//h1/text()")
                #游戏介绍
                item['introduce']= self.xpath_info(HTML,"//div[@class='txtArea'][1]/div[@class='txtCon']/div/text()")
                #获取评论
                self.get_comment(item)
    def xpath_info(self,HTML,xpaths):
        info = HTML.xpath(xpaths)[0] if HTML.xpath(xpaths)[0] else ''
        return info
    #获取评论信息
    def get_comment(self,item):
        pass
    def write_info(self,item):
        with open('游戏排行信息.txt','a',encoding='utf-8') as f:
            #ensure_ascii=False关闭ascii写入
            f.write(json.dumps(item,ensure_ascii=False))
if __name__ == '__main__':
    #起始url
    url = 'https://www.3839.com/top/hot.html'
    ga = Game(url)
    ga.run()