目的：爬取知乎，虫师主页的粉丝信息
1、寻找真实请求
以虫师的关注者练习（注意：需要先登录）
使用谷歌浏览器开发者工具寻找包含关注人信息的真实请求，以“followers”开头的请求，返回的是一个JSON格式的数据，该数据对应“关注他的人”：
image.png
双击这个请求，返回一个JSON格式的数据，可以通过安装JSONView插件在浏览器中更好地显示该数据
image.png
2、代码爬取
# -*- coding: utf-8 -*-
# __author__ = 'Carina'
import requests
import pandas as pd
import time
# 添加请求头
headers = {
"authorization": "填上你的authorization",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36",
}
user_data = []
def get_user_data(page): # 实现翻页爬取功能
for i in range(page):
url = "https://www.zhihu.com/api/v4/members/hu-hu-66-21/followers?include=data%5B*%5D.answer_count%2Carticles_count%2Cgender%2Cfollower_count%2Cis_followed%2Cis_following%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics&offset={}&limit=20".format(i*20)
r = requests.get(url, headers=headers).json()['data'] # 关注他的人都保存在data下面
user_data.extend(r)
print("正在爬取第%s页" % str(i+1))
time.sleep(3) # 爬取时间间隔
if __name__ == "__main__":
get_user_data(10)
df = pd.DataFrame.from_dict(user_data)
df.to_excel('users.xlsx', "users")
途中遇到的问题：
1、返回“500 Server Error”，是由于网站反爬虫的原因
知乎的反爬虫机制是通过核对请求头信息实现的
解决办法：添加hearders请求头信息解决，根据Request Headers的选项添加，对比知乎的请求头信息和常见的请求头信息，尝试后发现authorization和User-Agent是必须要的
请求头信息承载了关于客户端浏览器、请求页面、服务器等相关的信息，用来告知服务器发起请求的客户端的具体信息
补充知识
Pandas库的DataFrame的 from_dict() 可以很方便地把爬取到的数据保存为DataFrame格式的结构化数据
HTTP Hearders：阅读HTTP响应头和请求头信息对照表，了解请求头和响应头的概念以及每个Header所代表的具体含义
更多关于requests headers的用法，可以查阅requests的官方文档
JSON：javascript object notation的简写，是一个轻量级的数据交换格式，易于阅读和编写，是目前前后端最常用的数据交互格式之一
连接API进行数据爬取的时候，数据的一般返回格式为JSONJSONView插件：使JSON格式的数据在谷歌浏览器中更好地呈现
