学习爬虫好几天了，一开始利用爬虫爬取单章小说、单本小说再到爬取整个排行榜的小说，都还是比较轻松的，因为只需要请求到网页然后查找需要的文本就可以了。从单页到多页也不过是加个步骤去获取下一页网址。
不过前天尝试利用爬虫爬取千千音乐的歌曲时遇到了不小的问题。一开始也是按部就班，获取目录页源码->查找各歌曲的独立网址->下载歌曲...等等，这个歌曲的独立网址（https://music.taihe.com/song/73991320）里怎么找不到歌曲下载地址！我翻了半天源码和开发者工具，也没找到想要的地址。我去搜了各路神仙的爬虫代码，发现里面都提到了一个名叫“songlink”的请求文件，这个文件应该会在开发者工具的“网络”一栏里出现，我却始终找不到。求助了逻辑教育的Jerry老师以后才发现，这个名叫“songlink”的请求文件其实会出现在“千千音乐盒”这个页面里（https://play.taihe.com/?__m=mboxCtrl.playSong#）。
成功找到请求文件以后，就可以根据请求文件的参数属性来索引到需要的下载地址了。查看“songlink”请求文件的正文，有一个“响应正文”和一个“请求正文”，“响应正文”中的“songlink”属性值即为一直苦苦查找的歌曲下载地址。接下来只需要模拟“请求正文”中的各个参数（'songIds':'','hq':0, 'type':'mp3', 'pt':0, 'flag': -1, 's2p': -1, 'prerate': -1,'bwt': -1, 'dur': -1, 'bat': -1, 'bp': -1, 'pos': -1, 'auto':0）向“标头”中出现的“请求url”（http://play.taihe.com/data/music/songlink）发起请求并保存响应数据，就可以得到目标歌曲的各个参数了（当然就包括了“songlink”下载地址）。（当然，模拟参数时需要将'songIds'更改为想要下载的歌曲id，这个要在前面的步骤中获取）
代码如下
import requests
import re
# 第一步 获得目录网址页的全部编码内容
def get_page(url):
response = requests.get(url)
response.encoding = response.apparent_encoding
return response.text
# 第二步 从内容中获取目录各项网址列表并拼接好
def get_list(text):
r ='<a href="/song/(.*?)" class="songlist-songname namelink overdd " '# 检索目标网址所在的代码行
music_ids = []
for music_idin re.findall(r, text):
music_ids.append(music_id)
return music_ids
# 第三步 从各项网址中下载所需内容
def download_music(music_ids):
song_api ='http://play.taihe.com/data/music/songlink'
data = {'songIds':','.join(music_ids), 'hq':0, 'type':'mp3', 'pt':0, 'flag': -1, 's2p': -1, 'prerate': -1,
'bwt': -1, 'dur': -1, 'bat': -1, 'bp': -1, 'pos': -1, 'auto':0}
# 发送请求
song_response = requests.post(song_api, data=data)
# 将返回来的数据转换为字典
song_info = song_response.json()
song_info = song_info['data']['songList']
# 遍历下载
for songin song_info:
song_name = song['songName']
if song['songLink'] =='':continue
with open('%s.mp3' % song_name, 'wb')as f:
# 下载MP3
response = requests.get(song['songLink'])
f.write(response.content)
# 主程序
if __name__ =='__main__':
url='http://music.taihe.com/artist/210146945'（修改此处网址即可下载不同页面下的所有歌曲）
page = get_page(url)# 第一步
music_ids=get_list(page)# 第二步
download_music(music_ids)#第三步
