评分爬虫

环境介绍

为了让两位自认为阅漫无数的同学对自己的动漫观看质量有数据量化的评判，近日基于爬虫实现了对动漫评分的爬取。

爬虫部分

import urllib
from urllib.parse import quote
import requests
import re
from bs4 import BeautifulSoup

#构造搜索请求，获取往返回的网页内容
#movie_name 电影名称

def find(movie_name):
    # 读取用户输入的电影名，并转换为url编码
    url_head = "https://bangumi.tv/subject_search/"+quote(movie_name.encode('utf-8')) #生成爬虫Url
    # 发送请求拿到HTML内容
    #cat = 2 是番组计划对动漫的分类
    payload = {'cat': '2'}
    r = requests.get(url_head, params=payload)
    r.encoding = 'utf-8'
    # 用bs解析HTML内容
    #这里可以获取所有的网页返回的内容
    soup = BeautifulSoup(r.text, 'html.parser')
    return get_score(soup,movie_name) 

#对网页内容进行分析，获取相应数据
def get_score(soup,movie_name):
    #find_all 是寻找所有符合的标签，返回list
    rank_list = soup.find_all(class_ = 'fade')
    name_list = soup.find_all(class_ = 'l')
    name = []
    rank = []
    #抽取有评分的名称与分数，因为有多种版本的动漫
    for i in range(0,min(len(rank_list),len(name_list))):
        name.append(name_list[i].get_text())
        rank.append(rank_list[i].get_text())
    m = len(name[0])
    pos = 0
    #找到最匹配的名称
    for i in range(0,len(name)):
        if(name[i].find(movie_name)!= -1 and len(name[i])<m):
            m = len(name[i])
            pos = i

    print(name)
    print(rank)
    
    return float(rank[pos]) 
    print('-------------------------------')

if __name__ =="__main__":
    print(find("龙与虎"))

注意点：

1. 需要安装的网络请求与响应分析的包：requests与bs4
2. Url构造包括两部分

• url_head 这部分的构造需要注意的是由于电影的名字需要以utf-8编码，所以使用了上述方法
• payload 经过对番组计划原查询语句的分析，可以发现其对查询类型的category的分类，其中2表示的是动漫，所以这里是2

3. find与find_all两个方法是用来根据网页的标签值进行筛选的语句，其中find是返回找到的第一个，find_all是以list的形式返回所有符合的
4. 要想根据返回的标签得到其中的文本值，需要使用的就是get_text()方法

python处理excel文件

import xlrd
import find
from openpyxl import load_workbook
import openpyxl
#向excel当中输出评分结果
def write_excel(rank):
    wb = load_workbook("8.0.1.xlsx")#生成一个已存在的wookbook对象
    wb1 = wb.active                  #激活sheet
    for i in range(0,len(rank)):
        wb1.cell(i+2,2,rank[i])      #往sheet中的第x行第y列写入数据
    wb.save("result.xlsx")           #保存
#打开excel文件
def open_excel(file= 'file.xls'):
    try:
        data = xlrd.open_workbook(file)
        return data
    except Exception as e:
        print(str(e))
#根据文件名，读取内容

def excel_table_byname(file= u'8.0.1.xlsx',colnameindex=0,by_name=u'Sheet1'):#修改自己路径
     data = open_excel(file)
     table = data.sheet_by_name(by_name) #获得表格
     nrows = table.nrows  # 拿到总共行数
     colnames = table.row_values(colnameindex)  # 某一行数据 
     list = []
     for rownum in range(1, nrows): #也就是从Excel第二行开始，第一行表头不算
         row = table.row_values(rownum)
         if row:
             app = {}
             for i in range(len(colnames)):
                 app[colnames[i]] = row[i] #表头与数据对应
             list.append(app)
     return list

def main():
    tables = excel_table_byname()
    list = []
    for row in tables:
        print(row['名称'])    
        list.append(find.find(row['名称']))
    write_excel(list)

if __name__ =="__main__":
    main()

注意点

1. 需要依赖的包：xlrd用来读取excel数据，openpyxl用来对xlsx类型的excel进行写操作
2. 爬虫代码的名称为find.py，在这里可以直接使用
3. 在这里的写excel的操作只能新建一个文档，不能向原有文档当中写内容

使用结果

1. 运行图
   running.png

2. 结果图

   
   
   excel.png