JSON大文件格式化

问题

工作中遇到了比较大的JSON文件(约10M),想要格式化显示,方便查看。使用IDEA自带的JSON格式化工具由于文件太大无法格式化。小一点的文件IDEA可以进行格式化,但是直接卡死无法操作。使用在线格式化JSON的网站进行格式化操作也会导致浏览器卡死。因此查找是否有相关的工具可以对JSON文本或文件进行格式化。

目前找到的最好的方法是使用Python自带json工具包,使用简单的几句代码就可以进行格式化,大文本完全无压力,方便好用。主要有以下几种方法:

1. 使用json.tool进行JSON格式化

python -m json.tool input-file.json output-file.json
# 指定使用Python3
python3 -m json.tool input-file.json output-file.json

input-file.json为输入文件,output-file.json为格式化后的文件。

2. 使用mjson进行JSON格式化

mjsonjson.tool使用方法相同,比较方便的地方在于可以直接使用,可以指定缩进大小。

# 安装mjson
pip install mjson
# 指定缩进2空格
mjson -i 2 input-file.json output-file.json

3. 在VIM编辑器中进行JSON格式化

vim中格式化是调用python json.tool格式化json文本。在命令行模式下输入:

# VIM格式化的方法:
:%!python -m json.tool

# 使用 python3
:%!python3 -m json.tool

# 使用 mjson
pip install mjson
:%!mjson -i 2

4. 解决中文乱码问题

以上方法在使用中如果JSON文件有中文,则格式化后的文件中文会显示为乱码,可以这样解决。找到Pyhon安装环境下json.tool模块所在的位置,如Ubuntu自带Python环境下为/usr/lib/python3.5/json/tool.py,将该文件替换为以下内容。

此处为Python3.5下该文件的替换,不同版本下拷贝出来该版本对应的json/tool.py,进行相应的修改使其支持中文再替换即可。

r"""Command-line tool to validate and pretty-print JSON

Usage::

    $ echo '{"json":"obj"}' | python -m json.tool
    {
        "json": "obj"
    }
    $ echo '{ 1.2:3.4}' | python -m json.tool
    Expecting property name enclosed in double quotes: line 1 column 3 (char 2)

"""
import argparse
import collections
import json
import sys


def main():
    prog = 'python -m json.tool'
    description = ('A simple command line interface for json module '
                   'to validate and pretty-print JSON objects.')
    parser = argparse.ArgumentParser(prog=prog, description=description)
    parser.add_argument('infile', nargs='?', type=argparse.FileType(),
                        help='a JSON file to be validated or pretty-printed')
    parser.add_argument('outfile', nargs='?', type=argparse.FileType('w'),
                        help='write the output of infile to outfile')
    parser.add_argument('--sort-keys', action='store_true', default=False,
                        help='sort the output of dictionaries alphabetically by key')
    options = parser.parse_args()

    infile = options.infile or sys.stdin
    outfile = options.outfile or sys.stdout
    sort_keys = options.sort_keys
    with infile:
        try:
            if sort_keys:
                obj = json.load(infile)
            else:
                obj = json.load(infile,
                                object_pairs_hook=collections.OrderedDict)
        except ValueError as e:
            raise SystemExit(e)
    with outfile:
        json.dump(obj, outfile, sort_keys=sort_keys, ensure_ascii=False, indent=2)
        outfile.write('\n')


if __name__ == '__main__':
    main()

5. 自定义工具进行格式化

如果不想修改python自带的json.tool模块,可以自己编写py文件自己使用,解决中文乱码问题。

  • 使用以上解决中文乱码时贴出的代码,保存命名为json-tool.py,当前文件路径下调用python json-tool.py input-file.json output-file.json,即可正常使用。
  • 另一个格式化json文件工具 json-format.py
    使用:保存命名为json-format.py,当前文件路径下调用python json-format.py file.json,可以直接对file.json文件进行格式化输出。
# encoding:utf-8
import json
import sys

fp = open(sys.argv[1], 'r+')
txt = fp.read()
js = json.dumps(json.loads(txt), sort_keys=True, ensure_ascii=False, indent=2, separators=(',', ': '))
fp.seek(0)
fp.write(js)
fp.close()
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容

  • 一、Python简介和环境搭建以及pip的安装 4课时实验课主要内容 【Python简介】: Python 是一个...
    _小老虎_阅读 5,726评论 0 10
  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    小迈克阅读 2,965评论 1 3
  • 模块和包 一 模块 1 什么是模块? 常见的场景:一个模块就是一个包含了python定义和声明的文件,文件名就是...
    go以恒阅读 2,263评论 0 4
  • 你曾是我平淡生活里的来日方长,最后猝不及防成为了大梦一场。我只记得那个午后,你微笑着挥手和我道别,然后消失在冬日的...
    DrJoseph阅读 131评论 0 0
  • 就像人得居安思危一样,这世界上没有那么多“我不犯人,人就不犯我”的真事。也不要把事事都想的顺遂,不是所有的事情都可...
    希文啊阅读 655评论 0 3