用python写爬虫-5.处理json

前面处理的多还是结构化的信息,对于返回的json就要用另外的模块了。
还是12306的获取的信息,地址已经在用python写爬虫-2.2requests库之post说明了。

这是一个json,json看起来就是一个dict,但是type是str,怎么能够清楚的看到返回json的结构呢,还是F12.


image.png

在这里我们可以清楚的看到,我们需要的信息。
然后就可以解析了,这次还是用pandas,分解这些在一起的内容很容易。
代码如下:

import json
import requests
import pandas as pd
def xhr():
    url = 'https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2018-04-23&leftTicketDTO.from_station=XNO&leftTicketDTO.to_station=GRO&purpose_codes=ADULT'
    re =requests.get(url).text
    res = json.loads(re)
    list = [item.split('|') for item in res['data']['result']]
    df = pd.DataFrame(data=list)
    print(df)

res = json.loads(re)是把返回的json转为dict。dict就能用key来提取信息。
list = [item.split('|') for item in res['data']['result']]
用split来分离一条信息的各项内容。
df = pd.DataFrame(data=list)转为dataframe。好观察。
结果如下:


image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 大家《ATD学习发展指南(第2版)》读后分享(二) 很感谢大家能够在简书上碰面,作为一个培训师或者培训管理者我知道...
    艾斯拉庞德阅读 4,359评论 0 8
  • 动物 小动物们自己动动头啊,动动头 咦,我的身体呢 叫你不要去打瘦脸针,你看,脸都不饱满了 哈哈哈哈,,手稳不住,...
    ZomZom白阅读 198评论 1 0
  • 晚上回家陪女儿贴贴纸书,很开心的把一张一张的小贴纸贴到,图画上。看得出女儿也很开心,叽里咕噜的说个不停。到了九点多...
    8bc80694e065阅读 236评论 0 0
  • 社交网络是人们自我展示的平台。人人皆有自恋的心,都想把自己认为好的一面修饰得再好一点展现给大家看,收获几个赞,心里...
    锑星阅读 1,840评论 3 18