0.png

下面出现的例子中需要读取的文件都存放在我自己的电脑 D:\Python\notebook\pydata-book-master\ch06 中。

1.png

2.png

3.png

4.png

5.png

6.png

缺失值处理

缺失数据经常是要么没有（空字符串），要么用某个标记值表示。

7-0.png

7.png

8.png

逐块读取文本文件

在处理很大的文件时，我们可能只需读取文件很小的一部分。

9.png

10.png

11.png

12.png

13.png

源代码为：

# coding: utf-8

# # 使用pandas读取文本文件

# In[1]:

import numpy as np
from pandas import Series,DataFrame
import pandas as pd


# ### 方法一：使用read_csv读入csv文件

# In[2]:

df = pd.read_csv('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex1.csv')
print(df)


# ### 方法二：使用read_table读入csv文件

# In[3]:

# 不指定分隔符的情况
df2 = pd.read_table('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex1.csv')
print(df2)


# In[4]:

# 使用参数sep指定分隔符情况
df3 = pd.read_table('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex1.csv',sep=',')
print(df3)


# In[5]:

'''
如果读取的文件没有列表头，使用header参数自动分配列表头
'''
df_ex2 = pd.read_csv('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex2.csv')
print(df_ex2)


# In[6]:

# 自动分配表头
df_ex2 = pd.read_csv('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex2.csv',header=None)
print(df_ex2)


# In[7]:

# 使用names参数指定列表头
df_ex2_name = pd.read_csv('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex2.csv',names=['一','二','三','四','message'])
print(df_ex2_name)


# In[8]:

# 使用index_col参数指定DataFrame的索引（行表头）
names=['一','二','三','四','message']
df_ex2_DF= pd.read_csv('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex2.csv',names=names,index_col='message')
print(df_ex2_DF)


# ### 使用正则表达式作为read_table分隔符

# In[9]:

list(open('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex3.txt'))


# In[10]:

# 使用正则表达式\s+处理空白符分隔
result = pd.read_table('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex3.txt',sep='\s+')
print(result)


# ### 缺失值处理

# In[11]:

# 默认使用NaN填充缺失值
df_na = pd.read_csv('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex5.csv')
print(df_na)


# In[12]:

# 使用isnull转为布尔值来标记NA值
pd.isnull(df_na)


# In[13]:

print(df_na)

# 使用一个字典把各列指定值转为NA值
new_na = {'message':['foo'],'c':[11],'something':['two']}
new_na_values = pd.read_csv('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex5.csv',na_values=new_na)
print('\n new_na_values:\n',new_na_values)


# ### 逐块读取文本文件

# In[14]:

# 读取一个10000行5列的.csv文件
all_Csv = pd.read_csv('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex6.csv')
print(all_Csv)


# In[15]:

# 只读取5行文件
part_Csv = pd.read_csv('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex6.csv',nrows=5)
print(part_Csv)


# In[16]:

# 根据chunksize对文件进行逐块迭代
chunker = pd.read_csv('D:\\Python\\notebook\\pydata-book-master\\ch06\\ex6.csv',chunksize=1000)
print(chunker)


# In[17]:

# 统计 key 这一列中各个值出现的次数
tot = Series([])
for piece in chunker:
    tot = tot.add(piece['key'].value_counts(),fill_value=0)
    
#print(tot)  

# 对结果进行降序排序
new_tot = tot.sort_values(ascending=False)
print(new_tot)


# In[18]:

# 选取前10行的结果显示
df_tot = new_tot[:10]
print(df_tot)