image.png

我们 在处理 dataframe 时，有时候一个字段 的value 其实就是含有json 字段值的内容，如何把它 提取出来 解析出 按列 显示分割的 Excel 文件

其实思路就很简单 ，我首先 读取到这个文件，然后定位到这一列，然后提取这一列，提取好这一列后，读取 ，然后如果格式固定的话，使用 indexof 定位到 json字符串，如果格式不太固定，使用charAt 定位到json 字符串，假如再复杂一些 则可以使用regex，
当json 字符串 拿到后，再把 json 字符串 转为json 对象，并保存到 json 文件中
按行分割
，然后再使用 pandas 读取 这个json 文件，读取时 pandas自己会转化为dataframe的格式，如果 需要添加 类似索引列，再在dataframe上 insert 新的索引列，然后 在把 读取的dataframe，保存为 pickle 或者 csv 或者 excel格式
，加载 或者打开文件，验证文件 正确后 完成

import  pandas as pd
import  numpy  as  np
import  json


file_path=""

rawData=pd.read_excel("/Users/geo/Documents/集智指数101000-测试.xlsx",sheetname="工作表1")
midVariable=rawData["中间变量"]
midVariable.head()

listvar=list(midVariable)
len(listvar)

for  va in listvar:
    stva=str(va).strip()
    jsVa=stva[13:-3]

with open("/Users/geo/Documents/jiaoData/record.json", "w") as f:
  for va in listvar:
    stva = str(va).strip()
    jsVa = stva[13:-3]
    dictjs = json.loads(jsVa)
    json.dump(dictjs, f)
    f.write('\n')
 # 读取最后一行 多一个 换行符，使用json 拼接换行写入到文件中
  print("加载入文件完成...")
# pandas 读取json  文件 一定要有 lines=True ，否则读取失败  Trailing Data
jsdata=pd.read_json("/Users/geo/Documents/jiaoData/record.json", lines=True)
jsdata.to_pickle("/Users/geo/Documents/jiaoData/record.pkl")
pkls=pd.read_pickle("/Users/geo/Documents/jiaoData/record.pkl")
exel=jsdata.to_excel("/Users/geo/Documents/jiaoData/record.xlsx")
pkls.shape


gidcols=rawData["gid"]
#可以指定插入列的位置 和值 ，是否 保存 重复值
pkls.insert(0,"gid",gidcols, allow_duplicates=False)
pkls.to_excel("/Users/geo/Documents/jiaoData/recordGids.xlsx")

写成 class方法

import  pandas as pd
import  numpy  as  np
import  json



class Perceptron(object):

  def __init__(self):
    self.filePath = "/Users/geo/Documents/集智指数101000-测试.xlsx"
    self.sheetNamez = "工作表1"
    self.jsonfilePath = "/Users/geo/Documents/jiaoData/record.json"

  @classmethod
  def readExcelGetJsonStrList(self,filePath,sheetNamez):
    rawData=pd.read_excel(filePath,sheetname=sheetNamez)
    midVariable=rawData["中间变量"]
    midVariable.head()
    listvar=list(midVariable)
    len(listvar)
    return listvar

  @classmethod
  def readRawJsonStrListWriteJsonFile(self,listvar):
     with open("/Users/geo/Documents/jiaoData/record.json", "w") as f:
         for va in listvar:
            stva = str(va).strip()
            jsVa = stva[13:-3]
            dictjs = json.loads(jsVa)
            json.dump(dictjs, f)
            f.write('\n')
     print("加载入文件完成...")

  @classmethod
  def  readJsonFileCovertToDataframeEndExcel(self,srcExcelPath,jsonfilePath,sheetNamez):
       rawDatas = pd.read_excel(srcExcelPath, sheet_name=sheetNamez)
       gidcols = rawDatas["gid"]
       jsdata=pd.read_json(jsonfilePath, lines=True)
       jsdata.to_pickle("/Users/geo/Documents/jiaoData/record.pkl")
       pkls=pd.read_pickle("/Users/geo/Documents/jiaoData/record.pkl")
       pkls.insert(0, "gid", gidcols, allow_duplicates=False)
       exel=jsdata.to_excel("/Users/geo/Documents/jiaoData/record.xlsx")
       pkls.shape
       pkls.to_excel("/Users/geo/Documents/jiaoData/recordGids.xlsx")

#注意 class 定义要在调用前声明 
if __name__ == '__main__':
  rjx = Perceptron()
  print("begin convert raw json to  excel")
  rawjsonStr = rjx.readExcelGetJsonStrList(rjx.filePath, rjx.sheetNamez)
  rjx.readRawJsonStrListWriteJsonFile(rawjsonStr)
  rjx.readJsonFileCovertToDataframeEndExcel(rjx.filePath, rjx.jsonfilePath, rjx.sheetNamez)