Python爬虫解析json遇到一类JSONDecodeError的解决方案

最近老是和json打交道，作为通过键值对保存数据的有效方式，json确实很好用，今天写一个爬虫的时候，需要提取<script>标签里的坐标（数据例子如下），通过xpath定位之后，虽然可以直接用正则匹配lat、lon，但是为了获取更多的属性，也为了锻炼直接对json的把握，选择了提取json部分再定位到lat、lon；但是用json库的json.loads(astr)的时候遇到了JSONDecodeError解析错误，报错信息如下：

   ……
  File "F:\LynWinTENsoft\Anaconda1014\lib\json\__init__.py", line 354, in loads
    return _default_decoder.decode(s)

  File "F:\LynWinTENsoft\Anaconda1014\lib\json\decoder.py", line 339, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())

  File "F:\LynWinTENsoft\Anaconda1014\lib\json\decoder.py", line 355, in raw_decode
    obj, end = self.scan_once(s, idx)

JSONDecodeError: Expecting property name enclosed in double quotes

输入的字符串astr如下，仔细观察发现这个json的键的部分没有用引号括起来，locallist应该是"locallist"。网上查了一些解决方案，试着用第三方库demjson，在Python 3.6环境下没能正确安装。于是选择了自己写代码解决，给键的部分加上双引号（因为拿下来的json里面有单引号也有可能引发JSONDecodeError: Expecting property name enclosed in double quotes:；因此选择把所有的单引号替换为双引号）

 {
            locallist: [{
                dispid: '1',
                listname: "bj"
            }, {
                dispid: '1145',
                listname: "shijingshan"
            }, {
                dispid: '6065',
                listname: "lugu"
            }],
            infoid: "13",
            lat: "39.908149",
            lon: "116.24602",
            comListname: "yuanyangshanshuibeiqu",
            im: "//j1.58cdn.com.cn/webim/js/entry_v20180521144825.js"
        }

思路就是通过字符串的replace方法将一些特征位置的值替换为有双引号的值，当然也可以用正则实现，单需要生成新字符串，这里只用了replace。把这部分封装为函数，输入为一个json字符串，代码如下：

def jsonPropt(astr):#给json内的键加上双引号
    return astr.replace(' ','').replace('\n','').replace('\r','')\
               .replace("'",'"').replace('{','{"').replace(':','":')\
               .replace('],','],"').replace('",','","')

直接json.loads(astr)会报JSONDecodeError；经过jsonPropt()处理后能正常解析为json。

程序运行效果