Pandas数据读写
读写CSV
- csvframe=pd.read_csv('myCSV01.csv') 将CSV文件转换为frame
文件的第一行默认为列标题。如果不指定列标题可以添加参数，也可以自己制定：read_csv('myCSV01.csv',header=None)
read_csv('myCSV01.csv',names=['','',..]) - 指定索引
read_csv('',index_col=[]) 可以制定列成为左边的索引(主要用于多级索引存在的情况)
frame.to_csv('目标文件')
需要注意的是，写入到目标文件后的NaN值变成了空字符，可以用参数来填充:
frame.to_csv('目标文件',na_rep='NaN')
TXT文件
用RegExp解析TXT文件
有时需要解析的数据文件不是以逗号或者分好分割的，对于这种情况，正则表达式就能派上用场。指定对应的正则表达式应用在函数read_table()中。
- . 换行符以外的单个字符
- \d 数字
- \D 非数字字符
- \s 空白字符
- \S 非空白字符
- \n 换行符
- \t 制表符
pd.read_table('test01.txt',sep='\s') \s的意思是一个或多个非空字符
多余行的处理：
read_table('test01.txt',sep='\s*',skiprows=[0,1,2,5,6])
skiprows用来指定忽略哪一行， skiprows=5表示忽略前五行
HTML
read_html() 和to_html() 都针对的是html中的表格结构。个人感觉意义不是很大。略过
从XML读取数据
<?xml version="1.0"?>
<Catalog>
<Book id="ISBN01">
<Author>Mark </Author>
<Title>XML CookBook</Title>
<Genre>Computer</Genre>
<Price>13.4</Price>
<PublishDate>2017-08-08</PublishDate>
</Book>
<Book id="ISBN02">
<Author>Babara </Author>
<Title>XML C++Book</Title>
<Genre>Computer</Genre>
<Price>35.95</Price>
<PublishDate>2017-08-07</PublishDate>
</Book>
</Catalog>
import pandas as pd
from lxml import objectify
xml=objectify.parse('test01.xml')
root=xml.getroot()
def etree2frame(root):
column_names=[]
for i in range(len(root.getchildren()[0].getchildren())):
column_names.append(root.getchildren()[0].getchildren()[i].tag)
xml_frame=pd.DataFrame(columns=column_names)
for j in range(len(root.getchildren())):
text=[]
obj=root.getchildren()[j].getchildren()
for k in range(len(column_names)):
text.append(obj[k].text)
row=dict(zip(column_names,text))
row_s=pd.Series(row)
row_s.name=j
xml_frame=xml_frame.append(row_s)
return xml_frame
print(etree2frame(root))
结果显示：
Excel
准确来讲是 MicroSoft Excel
pd.read_excel('data.excel','sheet1')
frame.to_excel('data2.xlsx')
JSON
javascript object notation
frame.to_json('frame.json') 生成json的文件
pd.read_json('frame.json')
[
{
"writer":"Mark Ross",
"nationality":"USA",
"books":[
{"title":"XML cookbook","price":25.56},
{"title":"javascript leaning","price":15.56},
{"title":"json book","price":21.56}
]
},
{
"writer":"Mark Ross",
"nationality":"USA",
"books":[
{"title":"XML cookbook","price":25.56},
{"title":"javascript leaning","price":15.56},
{"title":"json book","price":21.56}
]
}
]
首先加载json文件及其内容，并将其转换为一个字符串
file=open('books.json')
text=file.read()
text=json.loads(text)
from pandas.io.json import json_normalize
json_normalize(text,'books')
第二个参数指定books就可以读取所有以books作为键的元素的值。元素中所有属性将会转换为DataFrame元素。
第三个参数可以用与books同级别的键：
json_normalize(text,'books',['nationality','writer'])
读写数据库
通用数据库连接方法：from sqlalchemy import create_engine
engine=create_engine('数据库所在路径')
frame.to_sql('数据库名',engine)
pd.read_sql('colors'数据库名,engine)
pd.read_sql_query('SQL查询语句',engine)
读写MongoDB
上面所说都是关系型数据库,那么读写以MongoDB为代表的NoSQL需要借助数据库本身的库。
pymongo
