用jsonpath解析文档

今天请求的网站是360教育的文章索引页,本来想着用bs4库来解析复习一下BS4库。然而没有想到返回的内容是JSON格式的,所以就用了jsonpath方式来解析。
俗话说写例子不上源码的都是耍流氓,就上一下源码。
要求:获取索引页中每篇文章的标题及简介
基本库:
import requests
import json
import jsonpath
发起请求:
url='https://groot.hao.360.cn/api/article/listcategory=KtjcPkPjYKK4OD&page={}&project_id=1'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
start_url = int(input('输入你要爬取的页数:'))
for page in range(1,start_url+1):
url = url.format(page)
r = requests.get(url=url,headers=headers)
将json转换为python对象:
obj = json.loads(r.text)
开始解析json格式文件:
title = jsonpath.jsonpath(obj,'$.data.article_data[*].title')

jaoshi = jsonpath.jsonpath(obj,'$.data.article_data[*].summary')

edit_time = jsonpath.jsonpath(obj,'$.data.article_data[*].edit_time')

如有错误,望提之,共勉!
2019.6.28

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 上网原理 1、爬虫概念 爬虫是什麽? 蜘蛛,蛆,代码中,就是写了一段代码,代码的功能从互联网中提取数据 互联网: ...
    riverstation阅读 12,570评论 1 2
  • 第一部分 HTML&CSS整理答案 1. 什么是HTML5? 答:HTML5是最新的HTML标准。 注意:讲述HT...
    kismetajun阅读 27,960评论 1 45
  • beautifulsoup和 lxml 一样,Beautiful Soup 也是一个HTML/XML的解析器,主要...
    小袋鼠cf阅读 5,656评论 0 0
  • 声明:本文讲解的实战内容,均仅用于学习交流,请勿用于任何商业用途! 一、前言 强烈建议:请在电脑的陪同下,阅读本文...
    Bruce_Szh阅读 14,372评论 6 28
  • 上周妈妈来了,又是折腾给我们买各种东西。看到妈妈的各种用心。有时候真的不知道怎样回应。只是默默去感受这份爱。我经常...
    李文霸阅读 3,177评论 0 0