【数据挖掘】003扩展包与Pyhton环境

标准库

Python的标准库是其核心的扩展

  • 操作系统接口
  • 文件操作
  • 输入输出流
  • 文本处理等功能

常用的两个方法

dir()  # 查看模块中所包含的工具
help()  # 展示模块中所有的方法的说明

六大模块

模块名称                  模块简介                               应用场景
数学模块(math)            包含很多科学计算方法,                  在数据挖掘中,经常要对数据进行标准化,求统计值等
                         如平方根、对数计算、三角函数等等         处理,math 模块基本上包含了所有的基本操作

日期时间模块(datetime)    主要用于处理时间类型的数据,如            数据通常都会带有时间戳,有时,时间也是一种重要的特征。
                         时间数据格式化、时间的获取、时间数据      如新闻中,有新闻的发生时间、发布时间等,此时就会用到该
                         与字符串的转换等等                      模块

随机模块(random)          主要可以进行随机数的生成,随机选取        在进行数据采样、数据生成时经常用到这些随机方法

文件操作模块(file)        主要提供了文件操作,包括文件的读取         数据挖掘的样本通常都会被存放在文件中,所以文件操作    
                         和写入等,在处理本地数据时,通常都         也是基本技能之一
                         会用到这些操作

正则匹配模块(re)          可以使用正则表达式来进行字符串的匹配、      在处理文本数据时,经常需要用到正则匹配来进行文本的检索
                         检测等, 其编写方式可以在网上搜索

系统接口模块(sys)         主要实现了与操作系统交互的一些功能,        系统接口模块主要是为了获取系统的各种数据
                         如获取当前操作系统的情况、设置编码格式
                        等,编写完整的程序通常都会用到

第三方库

  • 基础模块

      名称          含义
      Numpy         Python 语言扩展程序库,支持大量的维度数组与矩阵运算
      SciPy         集成了数学、科学和工程的计算包,它用于有效计算 Numpy 矩阵,使 Numpy 和 SciPy 协同工作
      Matplotlib    专门用来绘图的工具包,可以使用它进行数据可视化
      pandas        数据分析工具包,它给予 Numpy 构建,纳入了大量的库和标准数据模型
    
  • 机器学习

      名称            含义
      scikit-learn    基于 SciPy 进行延伸的机器学习工具包,包含大量的机器学习算法模型,有 6 种大基本功能:分类、回归、聚类、数据降维、模型选择和数据预处理
      OpenCV          非常庞大的图像处理库,实现了非常多的图像和视频处理方法,如图像视频加载、基础特征获取、边缘检测等,处理图像通常都需要其支持。
      NLTK            比较传统的自然语言处理模块,自带很多语料,以及全面的传统自然语言处理算法,比如字符串处理、卡方检验等,非常适合自然语言入门使用。
      Gensim          包含了浅层词嵌入的文本处理模块,以及常用的自然语言处理相关方法,如 TF-IDF、word2vec 等模型。
    
  • 深度学习平台

      名称            开发平台        优点
      TensorFlow     谷歌            相对成熟、应用广泛、服务全面、提供学习视频和其认证计划。
      PyTorch        Facebook        支持更加快速地构建项目。
      PaddlePaddle   百度            中文文档全面,对于汉语的相关模型比较丰富。
    

包的安装

  • 使用 pip 安装扩展包
    使用pip可以对 Python 扩展包进行查找、下载、安装、卸载等等

    pip --version  # 查看pip是否已经存在
    pip install -U pip  # 升级 pip 到最新版
    

    用 pip 安装扩展包,以安装 Tensorflow 为例子

    pip install tensorflow  # 安装最新版的 tensorflow 模块
    pip install tensorflow==1.14  # 安装版本为 1.14 的 tensorflow 模块
    pip install tensorflow>=1.14  # 安装 1.14 版本以上的 tensorflow 模块      
    

    用 pip 卸载某个模块

    pip uninstall tensorflow
    

    在 pip 库中搜索某个模块

    pip search tensorflow
    

    用 pip 显示已经安装的包

    pip list
    

    【切换镜像源】

    pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple  # 这是一段代码
    

    【用 pip 更新配置文件,修改默认源】

    pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple  # 这是一段代码
    

    【常用镜像源】

    镜像名称              网站地址
    阿里云                https://mirrors.aliyun.com/pypi/simple/
    中国科技大学           https://pypi.mirrors.ustc.edu.cn/simple/
    清华大学              https://pypi.tuna.tsinghua.edu.cn/simple/
    豆瓣                  http://pypi.douban.com/simple/
    华中理工大学           http://pypi.hustunique.com/simple/
    山东理工大学           http://pypi.sdutlinux.org/simple/
    

Anaconda

  • Anaconda是 包管理器, 也是 环境管理器, 更是 Python的编辑器
  • Anaconda致力于为用户提供更便捷的方式来使用Python,进行数据科学计算和机器学习
  • 目前的开源软件库 sklearnTensorFlowSciPy 都支持 Anaconda

为什么使用 Anaconda ?

  • 依赖包安装方便
  • 多平台支持
  • 多环境切换

Anaconda 的安装?

https://www.jianshu.com/p/d465788f6df0

环境的创建?

https://www.jianshu.com/p/82f0263e3120

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,928评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,192评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,468评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,186评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,295评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,374评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,403评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,186评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,610评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,906评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,075评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,755评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,393评论 3 320
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,079评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,313评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,934评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,963评论 2 351