标准库
Python的标准库是其核心的扩展
- 操作系统接口
- 文件操作
- 输入输出流
- 文本处理等功能
常用的两个方法
dir() # 查看模块中所包含的工具
help() # 展示模块中所有的方法的说明
六大模块
模块名称 模块简介 应用场景
数学模块(math) 包含很多科学计算方法, 在数据挖掘中,经常要对数据进行标准化,求统计值等
如平方根、对数计算、三角函数等等 处理,math 模块基本上包含了所有的基本操作
日期时间模块(datetime) 主要用于处理时间类型的数据,如 数据通常都会带有时间戳,有时,时间也是一种重要的特征。
时间数据格式化、时间的获取、时间数据 如新闻中,有新闻的发生时间、发布时间等,此时就会用到该
与字符串的转换等等 模块
随机模块(random) 主要可以进行随机数的生成,随机选取 在进行数据采样、数据生成时经常用到这些随机方法
文件操作模块(file) 主要提供了文件操作,包括文件的读取 数据挖掘的样本通常都会被存放在文件中,所以文件操作
和写入等,在处理本地数据时,通常都 也是基本技能之一
会用到这些操作
正则匹配模块(re) 可以使用正则表达式来进行字符串的匹配、 在处理文本数据时,经常需要用到正则匹配来进行文本的检索
检测等, 其编写方式可以在网上搜索
系统接口模块(sys) 主要实现了与操作系统交互的一些功能, 系统接口模块主要是为了获取系统的各种数据
如获取当前操作系统的情况、设置编码格式
等,编写完整的程序通常都会用到
第三方库
-
基础模块
名称 含义 Numpy Python 语言扩展程序库,支持大量的维度数组与矩阵运算 SciPy 集成了数学、科学和工程的计算包,它用于有效计算 Numpy 矩阵,使 Numpy 和 SciPy 协同工作 Matplotlib 专门用来绘图的工具包,可以使用它进行数据可视化 pandas 数据分析工具包,它给予 Numpy 构建,纳入了大量的库和标准数据模型
-
机器学习
名称 含义 scikit-learn 基于 SciPy 进行延伸的机器学习工具包,包含大量的机器学习算法模型,有 6 种大基本功能:分类、回归、聚类、数据降维、模型选择和数据预处理 OpenCV 非常庞大的图像处理库,实现了非常多的图像和视频处理方法,如图像视频加载、基础特征获取、边缘检测等,处理图像通常都需要其支持。 NLTK 比较传统的自然语言处理模块,自带很多语料,以及全面的传统自然语言处理算法,比如字符串处理、卡方检验等,非常适合自然语言入门使用。 Gensim 包含了浅层词嵌入的文本处理模块,以及常用的自然语言处理相关方法,如 TF-IDF、word2vec 等模型。
-
深度学习平台
名称 开发平台 优点 TensorFlow 谷歌 相对成熟、应用广泛、服务全面、提供学习视频和其认证计划。 PyTorch Facebook 支持更加快速地构建项目。 PaddlePaddle 百度 中文文档全面,对于汉语的相关模型比较丰富。
包的安装
-
使用 pip 安装扩展包
使用pip可以对 Python 扩展包进行查找、下载、安装、卸载等等pip --version # 查看pip是否已经存在 pip install -U pip # 升级 pip 到最新版
用 pip 安装扩展包,以安装 Tensorflow 为例子
pip install tensorflow # 安装最新版的 tensorflow 模块 pip install tensorflow==1.14 # 安装版本为 1.14 的 tensorflow 模块 pip install tensorflow>=1.14 # 安装 1.14 版本以上的 tensorflow 模块
用 pip 卸载某个模块
pip uninstall tensorflow
在 pip 库中搜索某个模块
pip search tensorflow
用 pip 显示已经安装的包
pip list
【切换镜像源】
pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple # 这是一段代码
【用 pip 更新配置文件,修改默认源】
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple # 这是一段代码
【常用镜像源】
镜像名称 网站地址 阿里云 https://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/ 豆瓣 http://pypi.douban.com/simple/ 华中理工大学 http://pypi.hustunique.com/simple/ 山东理工大学 http://pypi.sdutlinux.org/simple/
Anaconda
- Anaconda是 包管理器, 也是 环境管理器, 更是 Python的编辑器
- Anaconda致力于为用户提供更便捷的方式来使用Python,进行数据科学计算和机器学习
- 目前的开源软件库 sklearn、TensorFlow、SciPy 都支持 Anaconda
为什么使用 Anaconda ?
- 依赖包安装方便
- 多平台支持
- 多环境切换
Anaconda 的安装?
https://www.jianshu.com/p/d465788f6df0