使用pandas读取CSV文件,只需要很简单的两行代码:
os.chdir(import_data_path)
a = pd.read_csv('filename.csv')
今天在这个过程中遇到两个问题,记录一下。
一、OSError: Initializing from file failed
文件还没开始读取,就已经失败了,查了一下是文件路径import_data_path包含中文的问题。把import_data_path修改成全英文,问题就解决了。在中文路径前加上“u”不能解决问题。
有一点奇怪,我使用的是Anaconda3,python3对中文的支持已经很好,每一个文件都自带utf-8编码方式的指定。当我把csv另存为excel,使用pd.ExcelFile来读取的时候,即使文件路径包含中文,都不会报错。
os.chdir(import_data_path)
xls_file = pd.ExcelFile('filename.xlsx')
a = xls_file.parse('sheetname')
二、UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb5 in position 0: invalid start byte
这是因为CSV文件保存时没有用'utf-8' 编码。使用记事本打开csv文件,另存为utf-8编码的文件,就解决了。如下图。
当CSV的数据量很大时(百万),记事本打开会很慢。建议用EmEditor打开再另存为。