数据乱码

问题汇总 1) 数据库乱码问题？

解决办法：

import json

try:

      data_dict = {} json.loads(data_dict).replace('\\\\','0000')

except:

       continue

解析：json.loads(str).replace(“\\\\”,”0000”)

2) 遇到不能处理的问题？

import json

try:

      # 需要解决的操作

      # step 1

except:

      # 发生异常后跳过继续操作

      continue

3) 数据量过大，分块处理?

import pandas as pd

data = pd.read_csv('../path.csv',usecols=['name','id','score'], nrows=500,chunksize=1000)

 """ 分块读取数据 每块的数据大小为chunksize=1000行

读取前nrows=500行 自读取['name','id','score']几列usecols=['name','id','score'] """

 for tmp in data:

       #具体的处理细节

       # work_fuc()

       pass

4) 不同的数据表之间如何进行数据合并？

 import pandas as pd

data = pd.DataFrame()

data1 = pd.DataFrame()

data = pd.concat

([data,data1],axis=1,ignore_index=True)

# axis=1 按列处理

# axis=0 按行处理，默认

data = pd.merge(data, data1, how='left', left_on='name', right_on='name')

5) 选择数据之后，index编码的为乱序的问题？

 解决方案一： 同时读出它的index和values

import pandas as pd

# 同时获取index 和 values

data = pd.DataFrame()

for index, values in data.items():

       index_Num = index

       values = values

解决方案二： 重新对index进行编码，然后按位取值

import pandas as pd

data = pd.DataFrame()

data = data.reindex(index=True)

for i in range(len(data)):

       print(i)

 6) 提取oracle数据？ 按照新加入的库筛选出对应的指标 Select A.one, A.two from A ,B where A.c = B