1、什么是network？
Network的功能是：记录在当前页面上发生的所有请求。
爬取歌单的时候，我们会发现，request.get()并不能爬取到我们想要的内容。
为什么呢？
浏览器每时每刻工作的真相：它总是在向服务器，发起各式各样的请求。当这些请求完成，它们会一起组成我们在Elements中看到的网页源代码。
我们只取了第0个请求，这里面不包含我们需要的内容（歌单），所以就提取不出来。
一般来说，都是这种第0个请求先启动了，其他的请求才会关联启动，一点点地将网页给填充起来。
形象点，这第0个请求像人的骨架，有了这个骨架，众多的请求尤如人的血脉经络，慢慢填充成为一个人。
当然啦，也有一些网页，直接把所有的关键信息都放在第0个请求里，尤其是一些比较老（或比较轻量）的网站，我们用requests和BeautifulSoup就能解决它们。比如豆瓣。
因此是不是应该换一种方式提取呢？
首先我们先讲几个概念：
这个图说明什么呢？
(1) 红色的点指的是启用network来记录信息，一般是高亮状态，所以我们只要刷新页面，就可以显示所有记录。
(2) 灰色圆圈是清空面板上的信息。
(3) Preserve log 的作用是“保留请求日志”。如果不点击这个，当发生页面跳转的时候，记录就会被清空，所以在爬取一些会发生跳转的的网页时，会点亮它。
初步的想法是：点亮 Preserve log 的目的就是为了保留第一步的信息，第一步的信息内容是很重要的。比如写循环爬取多个页面，这种规律性的主体是在第一页的。
这个图又说明什么呢？
此图是对请求进行分类查看。请求有很多，所以要分类。
ALL：查看全部
XHR：一种不借助刷新网页即可传输数据的对象。？？？
DOC：Document,第0个请求一般在这里。
Img：仅查看图片
Media：仅查看媒体文件
Other: 其他
JS和CSS：负责发起请求和页面实现
Font： 字体
WS和Manifest: 网络编程相关知识。
2、XHR
重点解释下什么是XHR吧？
历史遗留大问题！
在Network中，有一类非常重要的请求叫做XHR（当你把鼠标在XHR上悬停，你可以看到它的完整表述是XHR and Fetch）。
Ajax技术，应用这种技术，好处是显而易见的——更新网页内容，而不用重新加载整个网页。简单点，所访问的网址没变，但是网页里却新加了内容。
这种技术在工作的时候，会创建一个XHR（或是Fetch）对象，然后利用XHR对象来实现，服务器和浏览器之间传输数据。在这里，XHR和Fetch并没有本质区别，只是Fetch出现得比XHR更晚一些，所以对一些开发人员来说会更好用，但作用都是一样的。
上述请求中，我们发现，歌单列表并不在网页源代码（elements）中，而且也不是图片，不是媒体文件，自然只会在XHR中。
3、XHR怎么请求？
（1）文件较大，以及请求的名称具有指向性。
（2）Preview，整体展示内容
（3）Headers（四部分构成）
General:
Request URL,即我们应该去访问的链接。如果在浏览器打开这个链接，你会得到想要的内容。但是这些内容最外层是字典，里面是字典，往里面又是列表和字典......崩溃了吗？
如果用res.text,只能拿到字符串，拿不到字典和列表吗，也就没有办法去提取相关信息。
那能否把字符串转化为列表/字典吗？
（4）json
json:
在Python语言当中，json是一种特殊的字符串，这种字符串特殊在它的写法——它是用列表/字典的语法写成的。
这种特殊的写法决定了，json能够有组织地存储信息。
html，它通过标签、属性来实现分层和对应。
json则是另一种组织数据的格式，长得和Python中的列表/字典非常相像。它和html一样，常用来做网络数据传输。刚刚我们在XHR里查看到的列表/字典，严格来说其实它不是列表/字典，它是json。
json和XHR之间的关系：XHR用于传输数据，它能传输很多种数据，json是被传输的一种数据格式。就是这样而已。
我们总是可以将json格式的数据，转换成正常的列表/字典，也可以将列表/字典，转换成json。(为了多平台的使用)
（5）json 数据如何解析
import requests
res_music = requests.get("https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.top&searchid=23956528790926544&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=1&n=10&w=%E5%91%A8%E6%9D%B0%E4%BC%A6&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8¬ice=0&platform=yqq.json&needNewCode=0")
json_music = res_music.json()
#print(json_music)
list_music = json_music['data']['song']['list']
#print(list_music[0])
for music in list_music:
print(music['name'])
print(music['album']['title'])
print(music['url'])
Tips for url of every song:
首先，我们假设歌曲链接在XHR里，然后去验证假设。 查看一首歌的真实QQ音乐链接，比如告白气球https://y.qq.com/n/yqq/song/003OUlho2HcRHC.html 再查看XHR，会发现没有完整链接。但是它有：003OUlho2HcRHC。 而链接的其它部分，都是固定的。我们可以把XHR里的信息，和固定链接拼接起来。 此时你需要做的只是，查看003OUlho2HcRHC在XHR里对应的键是什么，提取即可。
