上回我们讲到了基础的图片的URL的获取——Python之Instagram图片爬虫（一），这回将要讲的就是获取加载更多时的图片URL，从而能够获取所属当前用户的所有的图片的URL链接。
分析页面
还记得上回我们并没有点击更多这个按钮，仅仅获取了首页的图片具体链接。
首页
在首页中分析出来的HTML中，提取到了这样的
json数据块。
json数据块
也成功提取了其中的图片链接，这回让我们先清空一下Chrome 调试中Network Tab页面的跟踪信息，紧接着点击一下更多按钮。
更多的请求
这时就可以瞧见第一条的请求记录，再来点开它的response，查看一下具体的返回内容。
提取出来的返回内容
哇？可不是json格式的内容，这样就可以很好的查看到更多的图片链接了。但是查看node的信息，发现图片仅仅只有几张，因此可以猜测这样的请求绝对不止一个。当我们往下拉时，发现Instagram自动加载了新的内容，同时发现了新的请求。
加载的异步请求
同样返回熟悉的json数据，但是问题是它是怎么请求下一次的呢？请求的参数是什么呢？
请求参数
如上图所示，其中的参数有这么几个：
- query_id
- id【包裹在json中】
- first
- after
这几个参数中，对比两次请求的参数，我们可以看到first参数没有变化。id参数也没变，依据经验，这个参数一定是随着不同的Instagram账号而变化的，但肯定容易获取。所以难点就是获取另外两个参数。我们优先查看第一次提取的HTML中的json数据库。
看图中有几个参数
查看上图，火眼金睛应该能看出其中的几个参数：
- id
- end_cursor 【刚好就是第一次query请求的after参数】
那么query_id去哪里了？这个确实复杂，我们在HTML中搜索发现并没有存在这个参数，这时就要分析Instagram的动态加载的JavaScript代码。
script节点
按照一般的经验，我们查询JavaScript的代码通常从网站所属公司的同源的文件开始，我们先去第一个zh_CN_Common查询query_id所对应的数字，发现确实出现了一条记录。
匹配一条
再进行queryId字符串的搜索，结果出现好多条，于是我们打算进行正则匹配，但遇到的数字很多。根据正则匹配的结果，我们发现了几个，来自我的猜测，前面几个都是以前的版本号，所以我们选取最后一个。
queryId
代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@File : spider.py
@Time : 2017/8/12 0012 21:22
@Author : Empty Chan
@Contact : chen19941018@gmail.com
@Description:
"""
import re
import json
import os
from lxml import etree
import requests
import click
from urllib import parse
import time
PAT = re.compile(r'queryId:"(\d*)?"', re.MULTILINE)
headers = {
"Origin": "https://www.instagram.com/",
"Referer": "https://www.instagram.com/morisakitomomi/",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/58.0.3029.110 Safari/537.36",
"Host": "www.instagram.com",
"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"accept-encoding": "gzip, deflate, sdch, br",
"accept-language": "zh-CN,zh;q=0.8",
"X-Instragram-AJAX": "1",
"X-Requested-With": "XMLHttpRequest",
"Upgrade-Insecure-Requests": "1",
}
# jso = {"id": "1179476381", "first": 12, "after": ""}
jso = {"id": "", "first": 12, "after": ""}
BASE_URL = "https://www.instagram.com"
# QUERY = "/morisakitomomi/" # 森咲智美
QUERY = "/_8_jjini/"
NEXT_URL = 'https://www.instagram.com/graphql/query/?query_hash={0}&variables={1}'
proxy = {
'http': 'http://127.0.0.1:38251',
'https': 'http://127.0.0.1:38251'
}
def crawl():
click.echo('start...')
try:
all_imgs_url = []
res = requests.get(BASE_URL + QUERY, headers=headers, proxies=proxy) # , verify=False)
html = etree.HTML(res.content.decode())
all_a_tags = html.xpath('//script[@type="text/javascript"]/text()') # 图片数据源
query_id_url = html.xpath('//script[@crossorigin="anonymous"]/@src') # query_id 作为内容加载
click.echo(query_id_url)
for a_tag in all_a_tags:
if a_tag.strip().startswith('window'):
data = a_tag.split('= {')[1][:-1] # 获取json数据块
js_data = json.loads('{' + data, encoding='utf-8')
id = js_data["entry_data"]["ProfilePage"][0]["graphql"]["user"]["id"]
edges = js_data["entry_data"]["ProfilePage"][0]["graphql"]["user"]["edge_owner_to_timeline_media"]["edges"]
print(edges)
end_cursor = js_data["entry_data"]["ProfilePage"][0]["graphql"]["user"]["edge_owner_to_timeline_media"]["page_info"]["end_cursor"]
has_next = js_data["entry_data"]["ProfilePage"][0]["graphql"]["user"]["edge_owner_to_timeline_media"]["page_info"]["has_next_page"]
for edge in edges:
if top_url and top_url == edge["node"]["display_url"]:
in_top_url_flag = True
break
click.echo(edge["node"]["display_url"])
new_imgs_url.append(edge["node"]["display_url"])
# click.echo(qq.get(node["display_src"], proxies=proxy).status_code)
# 请求query_id
query_content = requests.get(BASE_URL + query_id_url[1], headers=headers, proxies=proxy)
query_id_list = PAT.findall(query_content.text)
for u in query_id_list:
click.echo(u)
query_id = query_id_list[1]
count = 0
# 更多的图片加载
while has_next and count <= 1:
jso["id"] = id
jso["first"] = 12
jso["after"] = end_cursor
text = json.dumps(jso)
url = NEXT_URL.format(query_id, parse.quote(text))
res = requests.get(url, headers=headers, proxies=proxy)
time.sleep(2)
html = json.loads(res.content.decode(), encoding='utf-8')
has_next = html["data"]["user"]["edge_owner_to_timeline_media"]["page_info"]["has_next_page"]
end_cursor = html["data"]["user"]["edge_owner_to_timeline_media"]["page_info"]["end_cursor"]
edges = html["data"]["user"]["edge_owner_to_timeline_media"]["edges"]
for edge in edges:
click.echo(edge["node"]["display_url"])
count += 1
# all_imgs_url.append(edge["node"]["display_url"])
click.echo('ok')
except Exception as e:
raise e
if __name__ == '__main__':
crawl()
什么，你说怎么下载？那是下回的事情了，哈哈，相信有兴趣的小伙伴早就是想法设法下载了。大家下回见哦，下回将整理整个代码~~
