需求描述
因为种种原因，线上服务打印的日志是类json字符串，所谓类json字符串即整体上符合json串的结构，但是细节处总会有不规范的地方。比如：某些key、value没有带双引号；空值位置直接什么都没有等。例子：
{ver: , caller: test_caller, token: test_token, "args": {"arg": {"id":43523053453453, "model":{"city": 1, "time":1561519119}}}}
因为要使用这种数据且需要是严格的json格式，所以只能写脚本特别处理一下了。
挑战
实际遇到的问题比上面的字符串复杂的多，可能有各种难处理的点，比如：
- 有些value里面包含逗号，因为逗号是json的分隔符，所以很处理
- 有些value里面包含冒号，如网址。冒号也是json的分隔符
- 部分字段自带了双引号，保持了json格式
解决思路
step1:
首先，如果要处理的字符甚至不是类json字符，可以找一下规律，利用shell先转变为类json字符。可能会常用到sed的文本替换功能：
sed -i 's#oldstring#newstring#g' 文件名
比如上面提到的，有部分文本带了双引号，有了没带，为了方便统一处理，我们可以先把所有的双引号先全部删除（替换为空字符即可）。注意双引号要用转义字符：
sed -i 's#\"##g' 文件名``
step2:
抽象出现有的类json字符串不符合json格式的规律。看似杂乱无章的文本其实往往也是有规律可循的。把目标锁定在字符串中'{}[],:'这六个分隔符上，罗列出它们左侧和右侧有哪些不同的情况，再把不符合json格式的情况分别处理掉。一个这样的分析样例：
把这个图画出来之后，这项工作就完成80%了，之后把每个特殊字符左右两侧的情况梳理，提取出非法json格式，同时考虑到有些特殊字符可能会存在联动情况，分别处理就可以了。
方法很笨拙，但是可以解决问题。
python代码示例
以下是对上文总结规律的字符串做处理的代码，只是展示以下思路，可能每个人遇到的类json字符串逻辑都是不同的，所以可能不会有通用的处理方法。用python写起来很方便，但是执行起来效率非常低，python的多线程又是假的，采用多进程并发读文件方式可以大幅提升速度，但是也需要增添大量代码。
首先，定义一个Tojson类，用于字符串处理。
class Tojson:
# 待处理字符
old_str = ''
# 处理后字符
new_str = ''
# 当前位置
current_pos = 0
def __init__(self, old_str):
self.old_str = old_str
def json(self):
return self.new_str
# 返回当前要处理的字符
def peek(self):
current_value = self.old_str[self.current_pos]
if self.current_pos < len(self.old_str) - 1:
self.current_pos += 1
return current_value
# 返回当前位置偏移offset位的字符,正值后移,负值前移
def next_val(self, offset):
return self.old_str[self.current_pos + offset - 1]
# 字符c写入处理结果
def append(self, c):
self.new_str += c
# 判断是否是开始位置
def start(self):
if self.current_pos == 0:
return True
else:
return False
# 判断是否是结束位置
def end(self):
if self.current_pos == len(self.old_str) - 1:
return True
else:
return False
# 判断是否是特殊字符
def is_sign(val):
if val in '{}[],:':
return True
else:
return False
然后是递归处理方法：
def decode(to_json):
if to_json.end():
return
if to_json.start():
c = to_json.peek()
if c != "{":
raise Exception('input string should start with \'{\'')
else:
to_json.append(c)
to_json.append('"')
decode(to_json)
c = to_json.peek()
if not is_sign(c):
to_json.append(c)
decode(to_json)
else:
quota = '"'
if c == '{':
to_json.append(c)
if not is_sign(to_json.next_val(1)):
to_json.append(quota)
elif c == '}':
if not is_sign(to_json.next_val(-1)):
to_json.append(quota)
to_json.append(c)
elif c == '[':
to_json.append(c)
if not is_sign(to_json.next_val(1)):
to_json.append(quota)
elif c == ']':
if not is_sign(to_json.next_val(-1)):
to_json.append(quota)
to_json.append(c)
elif c == ':':
if not is_sign(to_json.next_val(-1)):
to_json.append(quota)
to_json.append(c)
if not is_sign(to_json.next_val(1)):
to_json.append(quota)
elif c == ',':
if not is_sign(to_json.next_val(-1)):
to_json.append(quota)
to_json.append(c)
if to_json.next_val(1).isspace():
if not is_sign(to_json.next_val(2)):
to_json.append(quota)
to_json.peek()
decode(to_json)
return
f = open(srcfilename)
fw = open(destfilename + 'new', 'w+')
line = f.readline()
start = time.time()
num = 0
print "开始处理数据..."
while line:
line_json = Tojson(line)
decode(line_json)
fw.writelines(line_json.json())
line = f.readline()
f.close()
fw.close()
