数据加载、存储于文件格式
读写文本格式的数据
pandas 提供了一些用于将表格型数据读取为 DataFrame 对象的函数，其中 read_csv 和 read_table 最为常用。
pandas 中的解析函数
| 函数 | 说明 |
|---|---|
| read_csv | 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号 |
| read_table | 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符（"\t"） |
| read_fwf | 读取定宽列格式数据（也就是说，没有分隔符） |
| read_clipboard | 读取剪贴板中的数据，可以看做read_table的剪贴板版。在将网页转换为表格时很有用 |
read_csv 和 read_table 函数的参数
| 参数 | 说明 |
|---|---|
| path | 表示文件系统位置、URL、文件型对象的字符串 |
| sep 或 delimiter | 用于对行中各字段进行拆分的字符序列或正则表达式 |
| header | 用作列名的序号 |
| index_col | 用作行索引的编号 |
| names | 用于结果的列名列表，结合header=None |
| skiprows | 需要忽略的行数（从文件开始出算起），或需要跳过的行号列表（从0开始） |
| na_values | 一组用于替换NA的值 |
| comment | 用于将注释信息从行尾拆分出去的字符（一个或多个） |
| parse_dates | 尝试将数据解析为日期，默认为False。如果为True，则尝试解析所有列。 |
| keep_date_col | 如果连接多列解析日期，则保持参与链接的列。默认为Fal。 |
| converters | 由列号/列名跟函数之间的映射关系组成的字典。例如，{'foo':f}会对foo列的所有值应用函数f。 |
| dayfirst | 当解析有歧义的日期时，将其看做过几个是（例如，7/6/2015 -> June 7,2015）。默认为False |
| date_parser | 用于解析日期的函数 |
| nrows | 需要读取的行数 |
| iterator | 返回一个TextParser以便逐块读取文件 |
| chunksize | 文件块的大小 |
| skip_footer | 需要忽略的行数（从末尾算起） |
| verbose | 打印各种解析器输出信息 |
| encoding | 用于Unicode的文本编码格式。 |
| squeeze | 如果数据经解析后仅含一列，则返回Series |
| thousands | 千分位分隔符，如“，”或“.” |
逐行读取文本文件
可以设置 nrows 参数和 chunksize 参数实现逐行读或逐块读。
将数据写出到文本格式
利用 DataFrame 的 to_csv 方法，可以将数据写到一个以逗号分隔的文件中。
手工处理分隔符格式
大部分存储在磁盘上的表格型数据都能用 pandas.read_table 进行加载。也可以直接使用 Python 内置的 csv 模块，将任意已打开的文件或文件型对象传给 csv.reader：
import csv
f = open('ch06/ex7.csv')
reader = csv.reader(f)
对这个 reader 进行迭代将会为每行产生一个元组（并溢出了所有的行号）：
for line in reader:
print line
Out:
['a','b','c']
['1','2','3']
JSON 数据
通过 json.loads 可将 JSON 字符串转换为 Python 形式；通过 json.dump 则将 Python 对象转换成 JSON 形式。
XML 和 HTML：Web 信息收集
利用 Python 中的 lxml 可以高效且可靠地解析大文件。利用 lxml.html 处理 HTML，然后在用 lxml.objectify 做一些 XML 处理。
二进制数据格式
pandas 中的 save 方法利用了 Python 内置的 pickle 序列化。
使用 HDF5 格式
HDF5 是一个流行的工业级库，它是一个 C 库，带有许多语言接口，如 Java、Python、MATLAB 等。HDF5 中的 HDF 指的是层次性数据格式（hierarchical data format）。
Python 冲的 HDF5 库有两个接口（即 ==PyTables 和 h5py==），它们鸽子采用了不同的问题解决方式。h5py 提供了一种直接而高级的 HDF5 API 访问接口，而 PyTables 则抽象了 HDF5 的许多细节以提供多种灵活的数据容器、表索引、查询功能以及对核外计算技术的某些支持。
读取 Microsoft Excel 文件
pandas 的 ExcelFile 类支持读取存储在 Excel 中的表格型数据。由于 ExcelFile 用到了 xlrd 和 openpyxl 包，所以先得安装它们才行。
xls_file = pd.ExcelFile('data.xls')
table = xls_file.parse('Sheet1') #返回 DataFrame
使用 HTML 和 Web API
略
使用数据库
pandas 有一个 read_frame 函数（位于 pandas.io.sql 模块）。
import pandas.io.sql as sql
sql.read_frame('select * from test',con)
存取 mongoDB 中的数据
import pymongo
con = pymongo.Connection('localhost',port=27017)
存储在 MongoDB 中的文档被组织在数据库的集合中。可以通过集合的 save 方法存入集合中。
tweets = con.db.tweets
for tweet in data['results']:
tweets.save(tweet)
如果想从该集合中取出tweet，可以用集合的 find 方法。
