文件读取方法

1. 按行读取txt,csv等文件,数据最后一个字段是分类类别

fo=open('filename.格式')
lines=fo.readlines()
numberOfLines=len(lines)
datas=np.zeros((numberOfLines,n)#n为字段个数-1
index=0
labels=[]#储存分类字段
for line in lines:
    line=line.strip()#去掉行尾空格
    oneline=line.split('分隔符')
    datas[index,:]=oneline[0:n]
    labels.append(oneline[-1])
    index+=1

2. 使用Scipy读取数据

import scipy as sp
data=sp.genfromtxt("文件名.格式",delimiter="分隔符"）

3. 使用pandas读取csv

import pandas as pd
csvframe=pd.read_csv('文件名.csv')

（1）文件内不包含header的读取

csvframe=pd.read_csv('mycsv_02.csv', header=None)

（2）用names指定header的读取

pd.read_csv('mycsv_02.csv', names=['字段名1','字段名2','字段名3'])

4. 读取文件夹内所有文件

import os
data=[open(os.path.join('文件夹路径',f)).read() for f in os.listdir('文件夹路径')]

5.以字典形式读取json文件

import json
path='路径.txt'
records=[json.loads(line) for line in open(path)]