最近在处理的一个数据
读取数据：分块读取处理
方式1
_reader = pd.read_csv(path, iterator = True)
#前47000行数据
chunkSize = 47000
print 'preproc',chunkSize
reader = _reader.get_chunk(chunkSize)
方式2
reader = pd.read_table('tmp.sv', sep='|', chunksize=4)
for chunk in reader:
执行处理数据语句
方式3：
方式1加入try except
#使用不同分块大小来读取再调用 pandas.concat 连接DataFrame，chunkSize设置在1000万条左右速度优化比较明显。
loop = True
chunkSize = 100000
chunks = []
while loop:
try:
chunk = reader.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print "Iteration is stopped."
df = pd.concat(chunks, ignore_index=True)
处理非数字型
datacleaner 的autoclean函数
使用数字等效编码非数字变量（例如，带有字符串的分类变量）
来源：https://github.com/rhiever/datacleaner
处理离散值
离散特征的编码分为两种情况：
1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码
2、离散特征的取值有大小的意义，比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}
http://scikit-learn.org/stable/modules/preprocessing.html#standardization-or-mean-removal-and-variance-scaling
pandas使用get_dummies进行one-hot编码
pandas.get_dummies 离散特征编码
导出CSV追加写入
待补充
参考：
使用Python Pandas处理亿级数据
Python如何处理大数据（知识整理）
python大规模数据处理技巧之一：数据常用操作
使用pandas进行数据清洗
