最近总是有人问我有什么书好推荐看看，特烦。但是看到那么多人问，看来挺多人有这个需求，便想了一下，如何通过数据分析找到值得看的书。通过爬取某个标签例如产品，运营获取对应已经打了标签的书，获取书对应的评分以及评价的用户数，通过获取评分最高的30本书和评价人数最多的30本书进行交集的处理，获取出来的综合指数比较高，得到的结果就是评价人数比较多且评分高的书。小编只是对产品，运营，心理学，python，数据分析，算法 这6个方面感兴趣，分享一下这六个方面的值得读的书，想知道其他方面的，也可以在评论下面发一下。

1. 处理过程

爬虫主要用到python的scrapy爬虫框架，下面是爬取数据的处理逻辑

class doubanSpider(scrapy.Spider):
    name = "douban"
    #要爬取的链接
    start_urls = [
        u"https://book.douban.com/tag/%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90"
    ]

    def parse(self, response):
        #获取列表的结构
        list=response.xpath('//*[@id="subject_list"]/ul/li')
        for info in list:
            book_name=info.xpath('div[2]/h2/a/text()').extract_first()
            url=info.xpath('div[2]/h2/a/@href').extract_first()
            score=info.xpath('div[2]/div[2]/span[2]/text()').extract_first()
            count=info.xpath('div[2]/div[2]/span[3]/text()').extract_first()
            l=JobItemLoad(JobItem())
            if score is not None:
                l.add_value('score', score.strip())
            if count is not None:
                l.add_value('count', count.strip())
            l.add_value('book_name', book_name.strip())
            l.add_value('url', url.strip())
            yield l.load_item()
        #获取下一页的链接
        next_url=response.css('#subject_list > div.paginator > span.next > a::attr(href)').extract_first();
        if next_url:
            yield scrapy.Request('https://book.douban.com'+next_url,callback=self.parse)

爬取后的格式如下：

部分结果

对爬取后的数据进行处理：

import pandas as pd

def fromCsv(fileName):
    data = pd.read_csv(fileName,encoding = "ISO-8859-1")
    return data
def toCsv(data,file_name):
    data.to_csv(file_name, encoding="ISO-8859-1")
if __name__ == '__main__':
    #要处理的文件的名称
    csv_names=[u'douban_analysis',u'douban_arithmetic',u'douban_psychology',u'douban_operate',u'douban_prod',u'douban_python']
    for name in csv_names:
        #从csv文件读取数据
        data=fromCsv(f"{name}.csv")
        #分别按评分，数量进行排序后，获取前30个数据
        count_df=data.sort_values('count', ascending=False).iloc[0:30]
        score_df=data.sort_values('score', ascending=False).iloc[0:30]
        #对两个数据进行交集的处理获取结果
        result_df=count_df[count_df["book_name"].isin(score_df['book_name'].tolist())]
        toCsv(result_df.sort_values('score', ascending=False), f"{name}_result.csv")

2. 结果

2.1 产品

2.2 运营

2.3 心理学

2.4 python

2.5 数据分析

2.6 算法

3. 结论

其中产品，心理学 在评分前30，评价人数前30的交集为0，产品是调整为前50的数据，心理学是调整为前100的数据，说明偏主观的书的综合评分的可信度比技术类的书差一些。