python基础:数据分析常用包

本文重点介绍pyhon最常用的几个库:

1. SymPy

SymPy是python一个科学计算库,有一套强大的科学计算体系,覆盖了从基本的符号运算到计算数学、代数学、离散数学、量子物理等多个领域。可以完成诸如多项式求值、求极限、解方程、微分方程、级数展开、矩阵运算等等计算问题。

虽然Matlab的类似科学计算能力也很强大,但是Python以其语法简单、易上手、异常丰富的三方库生态,个人认为可以更优雅地解决日常遇到的各种计算问题。

2. Numpy

Numpy是用于数据分析、机器学习、科学计算的重要软件包。它极大的简化了向量矩的操作及处理。Python的不少数据处理软件包依赖于Numpy作为其基础架构的核心部分(如Scikit-learn, Scipy, Pandas和tensflow等)

3. Scipy

Scipy是一个科学计算工具包,可以处理插值、积分、优化、图像处理、常微分方程数据解的求解、信息处理等问题。它是基于Numpy搭建的。可用于有效计算Numpy矩阵,使Numpy和Scipy协同工作,高效解决问题

4. Scikit Learn(sklearn)

Sklearn是一个机器学习包,它是基于Numpy, Scipy和matplotlib搭建。它的主要功能分为六大部分:分类、回归、聚类、数据降维、模型选择和数据预处理,性能也很不错。

不过,sklearn不支持深度学习和强化学习,不支持图模型和序列预测,同时也不支持python之外的语言,不支持PyPy也不支持GPU加速。

常用子模块有:

分类 :SVM , K近邻 ,随机森林 , 逻辑回归等。
回归 :Lasso ,岭回归 等。
聚类 :K-means ,谱聚类等。
降维 :PCA ,特征选择 ,矩阵分解等。
模型选择 :网格搜索, 交叉验证 ,指标矩阵。
预处理: 特征提取,正态化。
5. Statsmodels

Statsmodels用于拟合统计模型、参数据估计、假设检验、不确定性评估以及数据探索和可视化。相比sklearn,statsmodels更侧重于统计推理、p值和不确定性评价。常用子模块包括:

回归模型:线性回归 ,通用线性回归,鲁邦线性模型  ,线性混合效应模型等。
方差分析(ANOVA)
时间序列分析:AR , ARMA , ARIMA , VAR等。
非参数方法: 核密度估计 , 核回归。
统计模型结果可视化。
6. Matplotlib

Matplotlib是python中类似于matlab的绘图工具,实际上matplotlib有一套完全依照MATLAB的函数形式的绘图接口,在matplot.pyplot模块中,这套函数接口方便MATLAB用户过度到matplotlib

7. Seaborn

Seaborn在matplotlib基础上进行封装的,但seaborn是针对统计绘图的。一般来说,seaborn能满足数据分析90%的的绘图需求。

Seaborn旨在使可视化成为探索和理解数据的核心部分。其面向数据集的绘图功能对包含整个数据集的数据框和数据组进行操作,并在内部执行必要的语义映射和统计聚合,以生成信息图。

Seaborn可以做热力图、散点图、直方图、箱形图、树形图、热点图等等

8. Pandas

Pandas是基于Numpy数组构建的,专门为处理表格和混杂数据设的,而Numpy更适合处理统一的数据数组数据。

参考资料:

  1. https://blog.csdn.net/cj151525/article/details/95756847

  2. https://www.cnblogs.com/jeshy/p/11165919.html

  3. https://www.jianshu.com/p/6c742912047f

  4. https://www.jianshu.com/p/cacbc6674984

  5. https://www.jianshu.com/p/e45558ccf533

  6. https://www.jianshu.com/p/da385a35f68d

  7. https://www.cnblogs.com/abdm-989/p/12204640.html

  8. https://pandas.pydata.org/pandas-docs/stable/user_guide/10min.html

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,417评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,921评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,850评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,945评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,069评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,188评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,239评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,994评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,409评论 1 304
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,735评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,898评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,578评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,205评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,916评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,156评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,722评论 2 363
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,781评论 2 351

推荐阅读更多精彩内容