错误1: pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string starting at row 56789
原因:
因为在解析时出现了意外的文件结束符。可能是该行出现了乱码,或者有一个双引号;
所以实际上,该报错是因为pandas读取csv文件时,会默认把csv文件中两个双引号之间的内容解析为一个string,作为一个字段域读入,并且忽略两个双引号之间的分隔符。所以,在默认方式下,一旦文件中出现了奇数个双引号,那么最后一个引号从所在的行开始,直到文件结束也没有对应的结束引号形成单个字段域,就会报这个异常,即文件结束符(EOF)出现在了字符串中。
解决方法:
解决办法就是改变pandas在读取csv的这种默认行为。在pandas的read_csv函数中,有两个参数和这个行为有关,分别是quotechar引用符和quoting引用行为,如下所示,摘自pandas的官方文档。
quotechar : str (length 1), optional
The character used to denote the start and end of a quoted item. Quoted items can include the delimiter and it will be ignored.
quoting : int or csv.QUOTE_* instance, default 0
Control field quoting behavior per csv.QUOTE_* constants. Use one of QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) or QUOTE_NONE (3).
quotechar引用符参数是表示在读取解析时,将指定的符号认为是引用符,不仅仅限制于双引号,默认情况下是双引号。被设为引用符之后,就会按照上面所述的那样,在引用符之间的内容会被解析为单个域读入,包括换行符和分隔符。而quoting表示引用行为,即如何对待引用符的解析。这里具有四种情况,分别是csv.QUOTE_MINIMAL, csv.QUOTE_ALL, csv.QUOTE_NONNUMERIC, csv.QUOTE_NONE.默认是csv.QUOTE_MINIMAL.这四个参数的解释如下:
csv.QUOTE_MINIMAL:只有当遇到引用符时,才会将引用符之间的内容解析为一个字符域读入,并且读取之后的域是没有引用符的,即引用符本身只作为一个域的边界界定,不会显示出来;在写入时,也只有具有引用符的域会在文件中加上引用符。
csv.QUOTE_ALL:在写入文件时,将所有的域都加上引用符。
csv.QUOTE_NONNUMERIC:写入文件时,将非数字域加上引用符。
csv.QUOTE_NONE:读取文件时,不解析引用符,即把引用符当做普通字符对待并且读入,不做特殊的对待;在写入文件时,也不对任何域加上引用符。
代码
import csv
data = pd.read_csv(filename,error_bad_lines=False, sep=',', encoding='utf-8',quoting=csv.QUOTE_NONE)
错误2: 读取某一行出错
原因:
按照 sep 切分后,列数跟表头对应不上
解决方法
- 定位到具体的行,修改正确。比如去掉多余的英文逗号
- 跳过错误行 pd.read_csv(filename,error_bad_lines=False)