我爬取了汪峰146首歌词，却找不到他的梦想

梦想

最近在学scrapy框架，看了不少大神的代码，还是感觉云里雾里，最好的学习就是实践，于是就有了今天的题目。我爬取了汪峰老师的146首歌词，并对他们进行分词、统计词频，然后用工具进行了可视化。

整个项目分3块：

歌词爬取与下载
歌词分词、统计词频
可视化处理

1.歌词爬取

主要用scrapy框架进行，像素级参照了@LEONYao的文章我爬了咪蒙的278篇文章做词频统计
歌词地址：https://mojim.com/cnh104044-A2.htm
上代码

import scrapy
from bs4 import BeautifulSoup
from ali.items import AliItem
class wang(scrapy.Spider):
    name = 'wang'
    def start_requests(self):
        start_url=['https://mojim.com/cnh104044-A2.htm']
        for url in start_url:
            yield scrapy.Request(url=url,callback=self.parse_getlink)


    def parse_getlink(self,response):
        n=0
        #print response.url
        soup = BeautifulSoup(response.body,'lxml')
        for i in soup.find_all('div',id='inS'):
            for j in i.find_all('a'):
               url = j.get('href')
               url = 'https://mojim.com' + str(url)
               yield scrapy.Request(url=url, callback=self.parse)
               n+=1
        print n

    def parse(self,response):
        item = AliItem()
        soup = BeautifulSoup(response.body,'lxml')
        for i in soup.find_all('dd',id='fsZx3'):
            item['content'] = i.get_text()
            yield item