一、模拟登录
在访问目标url时，服务器必须要求用户登录才返回数据，这时候我们就必须要携带身份信息去访问，一般常见的处理方式就是加cookie，cookie是有时效性的，像上节课的雪球网是不需要登录解决办法有两种
1-手动复制浏览器的cookie
2-自动处理cookie，使用session的方式
今天的案例中是需要先登录，再获取数据
方式：
1-获取登录url
2-携带账号和密码请求（一般密码都是进行过加密的，本次案例中可以携带明文去访问）
3-拿到响应对象的cookie
4-对群组url发起请求，并且携带上次的cookie
5-获取响应
# 访问登录url
url = 'https://ptlogin.4399.com/ptlogin/login.do?v=1'
# 表单参数
data = {
# 用户名和密码
'password': 'hkyx8888',
'username': '3073859018'
}
# 发请求获取响应对象
res = requests.post(url,data=data)
# print(res.cookies) # <RequestsCookieJar[<Cookie Pauth=4078826105|3073859018|t3ce7n2813c0563f6bb5ea5e93001e73|1697286846|10002
两次请求之间没有任何的关联，如何告知访问群组url的这次，我们已经登录了？？？
需要把登录后的cookie携带给访问群组的这一次请求
1-可以从浏览器中复制登录后的cookie cookie是有时效性的
2-访问登录接口，登录成功，响应对象中有cookie数据，再下一次访问的时候携带cookie
group_res = requests.get(group_url,headers=headers,cookies=res.cookies)
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
}
# 对群组url发起请求
group_url = 'https://my.4399.com/forums/index-getMtags?type=game'
group_res = requests.get(group_url,headers=headers,cookies=res.cookies)
# 对群组页面数据进行编码修改
group_res.encoding = 'utf-8'
# 输出响应内容
print(group_res.text)
这是通过携带cookies参数返回的数据，使用session也可以自动获取cookie，不需要手动处理
session = requests.Session()
# 访问登录url
url = 'https://ptlogin.4399.com/ptlogin/login.do?v=1'
# 表单参数
data = {
# 用户名和密码
'password': 'hkyx8888',
'username': '3073859018'
}
# 发请求获取响应对象
res = session.post(url,data=data)
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
}
# 对群组url发起请求
group_url = 'https://my.4399.com/forums/index-getMtags?type=game'
group_res = session.get(group_url,headers=headers) # 不需要传入cookies参数了
# 对群组页面数据进行编码修改
group_res.encoding = 'utf-8'
# 输出响应内容
print(group_res.text)
二、代理IP
代理：
在爬虫中，代理指的是代理服务器
代理服务器作用：
用来转发请求和响应
为什么要使用代理服务器呢？
如果爬虫在短时间内对服务器发起了高频率的请求，那么服务器会检测到异常的请求
可能会对请求对应设备ip禁掉，就意味着客户端设备无法对服务器端再次请求拿到数据
如果使用代理之后，服务器端接收到的请求ip是？代理服务器的
代理服务器分为了不同的匿名度：
透明代理：服务端知道你使用了代理机制，也知道你的ip
匿名代理：服务端知道你使用了代理机制，不知道客户端的真实ip
高匿代理：服务端不知道你使用了代理，也不知道你的真实ip
更换代理的目的是如果你的本机ip不能访问到数据了，那代理ip是没有被封掉的，所以可以换个ip去访问
免费代理
快代理 https://www.kuaidaili.com/free/inha/
免费代理不一定可以用
付费代理
讯代理： http://www.xdaili.cn/api/yz
- 操作方式：
1-先注册账号
2-页面中选择购买
3-购买选择按量购买，新用户有3元的优惠券，6块钱买1000个
4-购买了之后 ，点击‘我的’，点击‘我的订单’，点击‘生成api’
5-生成api之后，可以选择每次多少个，建议一次一个，会生成一个url，把url复制到浏览器中可以看到ip:端口号
- 代码实现
url = 'http://httpbin.org/get'
# 携带请求参数
p = {
# 键：请求的url协议
# 值：ip:端口号
'http':'浏览器中看到的ip:浏览器中看到的端口号'
}
res = requests.get(url,proxies=p) # 发送请求的 时候，携带代理参数
# res = requests.get(url)
print(res.text) # 获取的响应数据中的ip地址就是代理ip，说明对方服务器知道的ip是代理ip，而不是你的本机ip
# 可以先访问代理url拿到ip数据，再发送的时候指定这个获取到的ip和端口号
import requests
# 请求代理ip的url，获取ip和端口
ip = requests.get('讯代理获取到的apiurl')
# print(ip.text)
ip_data = ip.text.strip() # '114.218.21.241:39136'
url = 'http://httpbin.org/get'
# 携带请求参数
p = {
# 键：请求的url协议
# 值：ip:端口号
'http':ip_data
}
res = requests.get(url,proxies=p)
# res = requests.get(url)
print(res.text)
三、Json 模块
JSON（JavaScript Object Notation）是一种轻量级的数据交换格式
如果对方服务器返回的数据是json格式数据，除了可以使用响应对象.json（）外还可以使用json模块处理
-
字典 ----> Json字符串
info = {'name':'啊好的撒换大号阿德还剩多少矮矮的','age':18} # 字典转为json字符串？json.dumps(字典) json字符串 ensure_ascii=False中文不转换编码 print(json.dumps(info,ensure_ascii=False)) print(type(json.dumps(info))) # str
-
Json字符串 ----> 字典
info = '{"name":"啊好的撒换大号阿德还剩多少矮矮的","age":18}' # 注意：json字符串中的引号必须是双引号 print(json.loads(info)) print(type(json.loads(info))) # dict
其中 dump 和 load 涉及到文件读取和写入操作，主要用的多是 dumps 和 loads
编程语言中的数据格式不是统一，为了保证数据传输数据的可靠性，json 字符串
字典 ---> json 字符串
json字符串 = json.dumps(字典)
json 字符串 ---> 字典
字典 = json.loads(json 字符串)
res.json() 如果数据格式不对，则出异常
res.text ---> loads ---> 字典 ---> 取数据
- 代码实现
在响应内容中解析想要的数据
响应内容：
html 数据：处理方式：1.正则 2.xpath 3.bs4
json 数据：处理方式：1.转为python进行处理 2.jsonpath 3.正则
python 对象表示方式：类名()
js 对象表示方式： {}
- dumps: 把字典转为json字符串
import json
info = {'name':'啊好的撒换大号阿德还剩多少矮矮的','age':18}
# 字典转为json字符串？json.dumps(字典) json字符串 ensure_ascii=False中文不转换编码
print(json.dumps(info,ensure_ascii=False))
print(type(json.dumps(info)))
- dump:把字典转为json字符串，并且写入到文件中
with open('test.json','w',encoding='utf-8')as f:
# f.write(info) 字典数据不能直接写入到文件中，必须是字符串类型
# 1-写入什么数据，2-写入到哪个文件中
json.dump(info,f,ensure_ascii=False) # 把字典转为了json字符串，并且把这个写入到了文件中
info = '{"name":"啊好的撒换大号阿德还剩多少矮矮的","age":18}' # 注意：json字符串中的引号必须是双引号
print(json.loads(info))
print(type(json.loads(info)))
with open('test.json','r',encoding='utf-8')as f:
# 第一种方式
print(f.read()) # 读取的是一个字符串数据,使用loads可以转为字典
data = f.read() # '{}'
print(json.loads(data))
print(json.loads(data)['name'])
# 第二种方式
# 读取文件内容，json格式的字符串，转为python字典
data = json.load(f)
f.seek(0) # 移动光标到文件的开头
data2 = json.load(f)
print(data)
print(data['name'])
