Ch6 使用API

概要

当决定去完成一个爬虫操作时，第一反应可能就是用Requests库请求网页，然后从正则表达式、BeautifulSoup或Lxml中选择一个自己最熟悉的框架来解析数据，进而提取数据。但有时我们并不需要这么“卖命”地写代码，因为应用编程接口（Application Programing Interface,API）可能已为我们做好了一切。本文将对API进行概述，讲解API的使用和调用方法，并对API返回的JSON数据进行解析，最后通过使用API来完成一些有趣的综合案例。

本文涉及的主要知识点如下：

API概述：了解API的概念和原理
API使用方法：了解API的使用和调用方法
JSON数据：学会对JSON数据进行解析和提取
使用API：通过本文最后的综合案例，演示如何结合网络爬虫方法和API的调用，来完成一些又去的事情。

1. API的使用

在进行网络爬虫之前，会先考虑该网站是否有API，如果网站有API的话，不用爬虫也可以调用信息。

1.1 API概述

随着网络技术的发展，API的应用也越来越多，一些大型的网站对会为自己构造API，为使用者后开发者提供便利。例如，可以通过百度地图API，进行查询路线、定位坐标等；通过一些音乐API，查询歌手信息、歌词下载等；通过翻译API，进行实时翻译多国语言；甚至可以花一点钱去APIStore()

API很容易使用，在浏览器中输入下面的网址，就可以发起一个简单的API请求了：

http://howtospeak.org/api/e2c?user_key=&notrans=0&text=%E4%BD%A0%E5%A5%BD

应该会出现下面的结果：

{"chinglish": "和楼", "english": "Hello"}

这时可能会想，这与普通的浏览网页并没有什么不同，在浏览器中输入一个网址，返回给本机信息（这里是JSON格式）。是的，正如前面介绍的网络连接原理，计算机一次Requests请求和服务器端的Response回应，及实现了互联网，而API也是通过Requests请求和服务器端的Response回应来完成API的一次调用。

要说有什么不一样，API的请求使用非常严谨的语法，并且API返回的是JSON或XML格式的数据，而不是HTML数据。

1.2 API使用方法

API是一套非常标准的规则生成数据，而且生成的数据也是按照非常标准的方式组织的。因为规则很标准，所以一些简单、基本额规则很容易学，进而可以快速地掌握API的用法。但并非所有的API用法都很简单，有些API的规则却是繁多且复杂的，建议在使用前认真查阅其帮助文档。

正如前面所说，API也是通过Requests请求和服务器端的Response回应来完成API的一次调用，所以用Python语言进行API调用时，便可以使用Requests库来进行请求，如下面的代码：

import requests

url = 'http://howtospeak.org/api/e2c?user_key=&notrans=0&text=你好'
res = requests.get(url)
print(res.text)

程序运行结果与在浏览器中获取的是一样的：

除了使用Requests库的GET方法，还需要了解POST、PUT和DELETE方法。GET是使用最多的方法。当在浏览器中输入网址信息访问网站时，服务器给本机返回信息时，即使用了GET方法。我们可以使用Chrome浏览器的开发者工具来观测网络交互的过程。

（1）在Chrome浏览器中输入一个网址：http://music.163.com

（2）通过按F12键打开Chrome浏览器的开发者工具，通过按F5刷新页面。

（3）这时可看到网络交互的各个文件，打开第一个文件（也叫做抓包），在Headers部分可以看到请求的网址和请求的方式，如下图：

网络交互过程

POST方法就是填写表单或提交信息时所做的事情，如登录一个网址，使用的便是POST方法
PUT方法在API里有时会用到，PUT请求是用来更新一个对象或信息。对于老用户的个人信息进行更新时就会用到PUT方法。
DELETE方法用于删除一个对象，但在公共API中并不常见，毕竟一个公司不会让其他人随便地删除数据库中的信息。

1.3 API验证

有些简单的API不需要验证操作，但现在的大部分API是需要用户提交验证的。提交验证主要是为了计算API调用的费用，对于这种常见于付费的API，如天气查询API，需购买获得apikey作为验证才能调用API。

而有些验证是为了限制用户调用API，例如，微博API使用Oauth2授权接口，需验证获取access_token，调用获取最新公共微博API会有次数的限制

微博API

如何通过验证，这就需要阅读帮助文档了，后面将讲解百度地图的验证过程。有时验证需要API，有时却又不得不放弃API。首先，API并非随处可见；其次，API的限制也很多，一个公司不可能给用户全部的数据，这时就不得不重新考虑网络爬虫带来的便利了。

2. 解析JSON数据

调用API，服务器会返回JSON格式的数据，如何从中提取有用的信息。将讲解JSON解析库的使用和两个API的简单调用方法。

2.1 JSON解析库

Python语言中有解析JSON数据的标准库，可以通过下面的代码来使用：

import json

不同于其他Python的解析库，JSON解析库并不是把JSON数据解析为JSON对象或者JSON节点，而是把JSON数据转换为字典，JSON数组转换成列表，JSON字符串转换为Python字符串，这样便可以轻松地对JSON数据进行操作了。

以下为一个JSON格式的数据示例：

json_string = '{"user_man":[{"name":"peter"},{"name":"xiaoming"}],' \
              '"user_woman":[{"name":"anni"},{"name":"zhangsan"}]}'

下面代码将演示如何通过JSON库解析数据获取name字段的信息：

import json

json_string = '{"user_man":[{"name":"peter"},{"name":"xiaoming"}],' \
              '"user_woman":[{"name":"anni"},{"name":"zhangsan"}]}'

json_data = json.loads(json_string)
print(json_data.get("user_man"))
print(json_data.get("user_woman"))
print(json_data.get("user_man")[0].get("name"))
print(json_data.get("user_woman")[1].get("name"))

代码运行结果：

也可以通过下面这种写法完成数据的提取工作。

import json

json_string = '{"user_man":[{"name":"peter"},{"name":"xiaoming"}],' \
              '"user_woman":[{"name":"anni"},{"name":"zhangsan"}]}'

json_data = json.loads(json_string)
print(json_data.get("user_man"))
print(json_data.get("user_woman"))
print(json_data.get("user_man")[0]["name"])
print(json_data.get("user_woman")[1]["name"])

代码进行的结果是一样的。可以根据自己的情况，选择一个解析JSON数据的方法。

2.2 百度地图API调用

地理位置信息是爬虫实战中有趣的一部分内容，将通过百度地图的API，把地点名换算为经纬度，通过下面的代码便可调用百度地图API。

import requests

address = input("请输入地点：")
# get请求参数
parameters = {"address": address,
              "ak": "gU5B7P7jQheNDrNxcy5v7HDj3O4SLxp1"}

# GET请求
url = 'http://api.map.baidu.com/geocoder/v2/?address={}&output=json&ak={}&callback=showLocation'.format(
    parameters['address'], parameters['ak'])
res = requests.get(url)
print(res.text)

进入百度地图开放平台http://lbsyun.baidu.com/index.php?title=webapi

WEB 服务API

点击服务文档，进入http://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-geocoding

还可以使用另外一种写法：

# 百度地图API调用示例

import requests

address = input("请输入地点：")
# get请求参数
parameters = {"address": address,
              "ak": "gU5B7P7jQheNDrNxcy5v7HDj3O4SLxp1",
              "output": "json",
              "callback": "showLocation"}

# GET请求
# url = 'http://api.map.baidu.com/geocoder/v2/?address={}&output=json&ak={}&callback=showLocation'.format(parameters['address'], parameters['ak'])
url = 'http://api.map.baidu.com/geocoder/v2/'
res = requests.get(url, params=parameters)
print(res.text)

同样也是可以的。

运行程序后，输入地点名，按Enter键就可以返回结果，如下图：

请输入地点：北京
showLocation&&showLocation({"status":0,"result":{"location":{"lng":116.39564503787867,"lat":39.92998577808024},"precise":0,"confidence":10,"comprehension":100,"level":"城市"}})

返回结果参数

当返回的结果太多时，结构看上去不明显，解析JSON数据就会变得不清晰，因此可以通过pprint库来打印JSON数据。

# 百度地图API调用示例

import requests
import json
import pprint

address = input("请输入地点：")
# get请求参数
parameters = {"address": address,
              "ak": "gU5B7P7jQheNDrNxcy5v7HDj3O4SLxp1",
              "output": "json",
              "callback": "showLocation"}

# GET请求
url = 'http://api.map.baidu.com/geocoder/v2/?address={}&output=json&ak={}&callback=showLocation'.format(
    parameters['address'], parameters['ak'])
# url = 'http://api.map.baidu.com/geocoder/v2/'
res = requests.get(url)
print(res.text)
index_head = res.text.index('(')
# print(index_head)
handle_res = res.text[index_head + 1:-1]
# print(handle_res)
json_data = json.loads(handle_res)
# print(json_data)
pprint.pprint(json_data)

运行结果如下：

运行结果

请输入地点：北京
showLocation&&showLocation({"status":0,"result":{"location":{"lng":116.39564503787867,"lat":39.92998577808024},"precise":0,"confidence":10,"comprehension":100,"level":"城市"}})
{'result': {'comprehension': 100,
            'confidence': 10,
            'level': '城市',
            'location': {'lat': 39.92998577808024, 'lng': 116.39564503787867},
            'precise': 0},
 'status': 0}

通过下面的代码就可以提取经纬度信息：

# 百度地图API调用示例

import requests
import json
import pprint

address = input("请输入地点：")
# get请求参数
parameters = {"address": address,
              "ak": "gU5B7P7jQheNDrNxcy5v7HDj3O4SLxp1",
              "output": "json",
              "callback": "showLocation"}

# GET请求
url = 'http://api.map.baidu.com/geocoder/v2/?address={}&output=json&ak={}&callback=showLocation'.format(
    parameters['address'], parameters['ak'])
# url = 'http://api.map.baidu.com/geocoder/v2/'
res = requests.get(url)
# print(res.text)
index_head = res.text.index('(')
# print(index_head)
handle_res = res.text[index_head + 1:-1]
# print(handle_res)
json_data = json.loads(handle_res)
# print(json_data)
# pprint.pprint(json_data)

geo = json_data['result']['location']
longitude = geo['lng']
latitude = geo['lat']
print(longitude, latitude)

提取经纬度

3.综合案例1----爬取PEXELS图片

通过Python语言对文件的操作把该网站的图片爬取到本地。

3.1 图片爬取方法

图片爬取一般有下面两种方法

（1）第一种是通过URLlib.request中的URLretrieve模块，用法如下：

urlretrieve(url,path)

其中，url为图片链接，path为图片下载到本地的地址。通过爬取妹子图网站（http://www.mzitu.com/）为例，爬取代码如下：

# 爬取妹子图

import requests
from bs4 import BeautifulSoup
from urllib.request import urlretrieve

# http://www.mzitu.com/

# 初始化列表，存入图片urls
download_links = []

path = 'E:/BeautyPic/'

url = 'http://www.mzitu.com/'

res = requests.get(url)
soup = BeautifulSoup(res.text, 'lxml')
# #pins > li:nth-child(1) > a > img
imgs = soup.select('li > a > img')
# print(imgs)

for img in imgs:
    img_url = img.get("data-original")
    # print(img_url)
    download_links.append(img_url)

for link in download_links:
    print(link)
    urlretrieve(link, path + link[-10:])

注：path必须为图片的详细地址，包括图片本身，取图片链接最后10个字符串为图片命名地址。

但是很不幸的是：

403 Forbidden

问题原因
网站对爬虫的操作进行了限制

解决方法
伪装成浏览器

尝试一下：

# 爬取妹子图

import requests
from bs4 import BeautifulSoup
from urllib.request import urlretrieve
import urllib.request

# http://www.mzitu.com/

# 初始化列表，存入图片urls
download_links = []

path = 'E:/BeautyPic/'

url = 'http://www.mzitu.com/'

res = requests.get(url)
soup = BeautifulSoup(res.text, 'lxml')
# #pins > li:nth-child(1) > a > img
imgs = soup.select('li > a > img')
# print(imgs)

opener = urllib.request.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 '
                                    '(KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36')]
urllib.request.install_opener(opener)

for img in imgs:
    img_url = img.get("data-original")
    # print(img_url)
    download_links.append(img_url)

for link in download_links:
    print(link)
    urllib.request.urlretrieve(link, path + link[-10:])

经测试，还是报urllib.error.HTTPError: HTTP Error 403: Forbidden。网上所说的解决方案貌似对于此图片下载没作用。

（2）但是有时第1种方法爬取图片会报错，因此就必须使用第2中方法，即请求图片链接，再存入文件中，以爬取煎蛋网图片（http://www.jiandan.net/ooxx）为例:

# 煎蛋网

import requests
from lxml import etree

urls = ['http://jandan.net/ooxx/page-{}'.format(str(i) for i in range(0, 20))]
path = 'C:/Users/Think/Desktop/jiandanwang/'

header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                        'Chrome/70.0.3538.67 Safari/537.36'}


def get_photo(url):
    # 定义下载图片函数
    html = requests.get(url)
    # print(html.text)
    selector = etree.HTML(html.text)

    # //*[@id="comment-4000941"]/div/div/div[2]/p/img[1]
    # photo_urls = selector.xpath('p/a[@class="view_img_link"]/@href')

    # //li/div
    photo_urls = selector.xpath('//ol/li[starts-with (@id,"comment")]/div/div/div[2]/p/img')
    print(len(photo_urls))
    for photo_url in photo_urls:
        print(etree.tostring(photo_url))
    #     data = requests.get(photo_url, header=header)
    #     fp = open(path + photo_url[-10:], 'wb')
    #     fp.write(data.content)
    #     fp.close()

get_photo('http://jandan.net/ooxx/page-1')

上述代码执行的打印情况：

执行结果

因此，直接通过get方法获取不到图片的地址。因为是通过js生成出来的图片地址。

3.2 爬虫思路分析

（1）爬取PEXELS(https://www.pexels.com/)网站上的图片，该网站提供海量共享图片素材，图片质量很高，而且因为共享，可以免费用于个人和商业用途，如图：

最后编辑于：2018.11.05 17:27:40

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 220,458评论 6赞 513
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 94,030评论 3赞 396
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 166,879评论 0赞 358
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 59,278评论 1赞 295
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 68,296评论 6赞 397
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 52,019评论 1赞 308
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,633评论 3赞 420
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,541评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 46,068评论 1赞 319
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 38,181评论 3赞 340
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 40,318评论 1赞 352
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,991评论 5赞 347
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,670评论 3赞 331
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 32,183评论 0赞 23
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,302评论 1赞 272
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,655评论 3赞 375
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 45,327评论 2赞 358