Python学习记录-pandas numpy

1. 基础用法

  • Python属性的写法
class MyClass(object):

    @property
    def myProperty(self):
        return self._privateProperty
    
    @myProperty.setter
    def myProperty(self, pro):
        self._privatePerperty

上面会为类MyClass声明一个属性,使用点语法进行存取;

  • 读取某一文件夹下的子文件
def _filenames(self, filedir):
    for root, dirs, files in os.walk(filedir):
        print "root: {0}".format(root)
        print "dirs: {0}".format(dirs)
        print "files: {0}".format(files)
  • mark一个[for]用法
index_list = [i+1 in i in np.arange(40000)]
# 生成1~40000
my_list = [index_list[i] for i in np.random.permutation(np.arange(len(index_list))]
# 生成打乱的1~40000

2. pandas库

import pandas as pd
pandas可看作是一个excel的代码操作库;

# 读取csv文件
file = pd.read_csv(filePath, header=0)
# filePath为csv文件的路径,header=0是说不加表头
# 读取后可使用下面的方法更改列的名字
file.columns = ['x', 'y', 'z']

# 连接操作
file2 = pd.read_csv(file2Path)
contact = pd.concat([file, file2], axis=1) #连接操作axis=1时是横向连接

# 插入操作
data = pd.DataFrame(contact)
data.columns = ['x', 'y', 'z', 'b']
data.insert(3, 'a', 0) # 在第3列后插入名为'a'的列,值为0

# 交换两列(列名同时交换)
data.loc[:, ['a', 'b']] = data.loc[:, ['b', 'a']].values 
# 保存frame到csv文件中
data.to_csv(./file.csv', index=False, header=False)
# index, header分别代码行名和列名,False代表不保存名称


file = pd.read_csv(filePath, header=0)
pdata = pd.DataFrame(np.reshape(data, (-1, 6)), columns=['x', 'y', 'z'])
pdata[['x', 'y', 'z']].astype('float64').to_csv('./transnpy.csv', index=None, header=None)
# 这里reshape中的-1是一个占位符,表示该维度上的维数由数据自行算出
# 上面这段将csv取出的数据转换为ndarray并更改shape,再重新存到csv文件中

3. numpy库

import numpy as np
假如有一个ndarray类型的变量,data;将data中的数列保存为list,在对data进行访问时要比对list进行访问花费时间要大很多,如下:

print(np.shape(data)) # (10000, 6)
x = [data[i][0] for i in range(len(data[:, 0]))]

for i in range(len(x)):
    value = x[i]
    
for i in range(len(x)):
    value = data[i][0]

将ndarray数据保存到npy文件中,loading from npy is 30x faster than loading from pickle;
将一个从cvs文件中读出的数组转化为ndarray并保存为npy文件:

# 保存和读取npy文件
np.save('./data.npy', data)
npy = np.load('./data.npy')
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,383评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,522评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,852评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,621评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,741评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,929评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,076评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,803评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,265评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,582评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,716评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,395评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,039评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,027评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,488评论 2 361
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,612评论 2 350

推荐阅读更多精彩内容