动态网页示例

对于动态的JavaScript网站，两种抓取数据的方法

·JavaScript逆向工程
·渲染JavaScript

打开网站：http://example.python-scraping.com/search
搜索关键字A
(该搜索网站的功能：返回名字带有关键字的国家信息（忽略大小写 ）)

image.png

检查元素之后发现 搜索结果在标签为‘result’的div中，现在获取该结果

url='http://example.python-scraping.com/search'
html=download(url)
soup=BeautifulSoup(html,'html.parser')
a=soup.find('div',attrs={'class':'results'})
print(a)

结果

None

打开网页源代码：
搜素‘result’
结果：

image.png

考虑该元素是通过javascript渲染得到

AJAX
AJAX

逆向工程

（任务：根据搜索网址爬取所有的国家信息，并存储到本地的文件）

逆向工程，即了解到网页是如何加载数据的。打开检查元素，点击搜索A
在浏览器工具中单击Network选项卡。
得到很多响应资源，找到其中名字为：search.json的资源

image.png

点击右边的Preview发现结果集就在这里

image.png

于是我们直接请求这个url：http://example.python-scraping.com/places/ajax/search.json?&search_term=?&page_size=?&page=?
(后3个?为请求参数)

def getHtml(search_item,page_size,page):
    url='http://example.python-scraping.com/places/ajax/search.json?&search_term={}&page_size={}&page={}'.format(search_item,page_size,page)
    html =download(url)
    return html


html=getHtml('a',4,1)
data=json.loads(html)
pprint(data.keys())
pprint(data)

输出结果：

image.png

仔细观察就能知道：搜索结果为json字符串，json的属性有（error，num_page，records）
num_page即返回结果的最大页数
records即返回结果集
清楚了json的结构之后，代码就很容易
以下为核心代码

for letter in string.ascii_lowercase:
    page=0
    page_size=10
    
    while True:
        url=template_url.format(letter,page_size,page)
        html=download(url)
        data=json.loads(html)#将json字符串转化为python字典
        records=data.get('records')
        num_pages=data.get('num_pages')
        for di in records:
            country_info={}
            if di.get('id') in country:
                continue
            for key,value in di.items():
                country_info[key]=value
            country[di.get('id')]=country_info
        if page>=num_pages:
            break
        page+=1

#写入本地文件
with open(path,'w') as fp:#path为你的存储路径
    json.dump(country,fp)

这段代码针对26个英文字母，总共要进行26次独立的查询，那么有没有办法可以一次获取所有的查询结果呢？
template_url='http://example.python-scraping.com/places/ajax/search.json?&search_term={}&page_size=10&page=0'
猜想search_term可能是通过正则匹配的，用相关符号去测试

url=template_url.format('*','10','0')
html=download(url)
json.loads(html).get('num_pages')

结果：

0

继续

url=template_url.format('.','10','0')
html=download(url)
json.loads(html).get('num_pages')

结果

26

对了！ 该网站的确是通过正则表达式来匹配搜索的，而‘.’在正则表达式中是匹配所有字符

渲染动态网页

对于前面这种js结构简单响应可以通过逆向工程来获取资源，然而有些网站使用的js结构过于复杂，不便分析，此时就难以实施逆向工程（比如GWT,Node.js,有些反爬虫的网站就会这样）
此时，一位叫浏览器渲染引擎的靓仔路过。