一、Ajax概念:
Ajax(Asynchronous JavaScript and XML)，即异步的 JavaScript和 XML， 对于Ajax 渲染 的页面，数据的加载是一种异步加载方式，访问最初的原始页面不会包含某些数据，原始页面加载完后会再向服务器请求某个接口获取数据，然后数据再被处理才呈现到网页上，这其实就是发送了一个 Ajax请求。通俗来讲：Ajax是一种异步加载技术，它一边加载数据，一边向服务器发送请求获取数据。
二、案例(爬取虎扑新闻标题)
1.访问目标URL：虎扑体育官网:https://www.hupu.com/
2.进如首页后，下拉滚动条
下拉前
3.我们发现：滚动条拉至底部后，页面数据将会自动加载一部分。这样一来，页面数据会越来越多，滚动条的长度会越来越短。
下拉后
4.如何证明某些数据是后来加载的呢
1)F12打开开发者调试工具
F12开发者调试工具
2)下拉滚动条,果然有惊喜(不妨多下拉几次):
2-1
多次下拉滚动条
3)结论：当访问https://www.hupu.com/并不能获取数据，所以，我们需要访问目标的url是：https://www.hupu.com/home/v1/news?pageNo=3&pageSize=50，其中pageNo=3，数字可以自己更改，也可以爬取多页数据。
三、来吧展示:
# -*- coding:utf-8 -*-
from fake_useragent import UserAgent
from urllib.request import Request, urlopen
def download_page(url):
headers = {
"User-Agent": UserAgent().random,
# 带上访问源
"origin": "https://www.hupu.com",
}
# 获取请求对象
req = Request(url, headers=headers)
# 获取响应
resp = urlopen(req)
print(resp.read().decode())
if __name__ == '__main__':
url = "https://www.hupu.com/home/v1/news?pageNo=3&pageSize=50"
download_page(url)
1)测试一下，发现是一个字符串类型数据格式，我们需要对数据进行一个反序列化操作。
image.png
# -*- coding:utf-8 -*-
import ssl
import json
import jsonpath
from lxml import etree
from fake_useragent import UserAgent
from urllib.request import Request, urlopen
def download_page(url):
headers = {
"User-Agent": UserAgent().random,
# 带上访问源
"origin": "https://www.hupu.com",
}
# 获取请求对象
req = Request(url, headers=headers)
# 获取响应
resp = urlopen(req)
# print(resp.read().decode())
# print(type(resp.read().decode()))
f_page = json.loads(resp.read().decode())
# 提取标题
titles = jsonpath.jsonpath(f_page, "$..title")
for t in titles:
print(t)
if __name__ == '__main__':
url = "https://www.hupu.com/home/v1/news?pageNo=3&pageSize=50"
download_page(url)
新闻标题的提取
完成！！！
