TensorFlow GPU开发环境搭建

TensorFlow有CPU版本和GPU版本之分,CPU版本安装相对简单,按着TensorFlow的官方文档进行安装即可。但CPU版本只能使用CPU进行计算,计算效率低。对于简单的模型计算可以使用CPU模式,但对于复杂的模型训练就需要GPU的支持了。

GPU版本安装方式

TensorFlow的GPU版本有两种安装方式:
源码编译安装
这种方式灵活性最强,但这种方式不但会涉及TensorFlow GPU版本计算框架的依赖,还会牵扯到源码编译的工具依赖和库依赖。如果不是有特别的需要,不建议采用这种安装方式。
二进制安装包安装
针对大多数的使用场景,直接使用编译好的二进制安装包进行安装即可,操作相对简单,依赖也比较少。本文主要针对二进制安装包的方式进行安装。

二进制安装包安装方式选择

参考TensorFlow官方文档
TensorFlow官方文档提供了基于命令方式的安装模式。但实际上,文档提供的安装命令更多是一种参考,而不是针对所有显卡和硬件环境都可以适用的,傻瓜式解决方案。或者说,直接按照TensorFlow的官网提供命令进行安装,多半会出现问题。
自定义安装
TensorFlow CPU版本和GPU版本最大的不同在于它们依赖的硬件平台,CPU版本的硬件依赖比较低,甚至可以粗糙的认为对硬件没有特别的要求(桌面或工作站处理器,大多是基于X86计算架构的)。GPU则不同,即便大家目前使用的GPU卡大多是Nvidia的,但Nvidia不同的显卡系列的计算能力和对TensorFlow的支持也是不一样的。所以有必要针对自己实际的GPU显卡,配置与之相对应的运行环境,最终满足TensorFlow GPU版本的运行要求。

TensorFlow GPU版本的运行依赖

GPU版本的TensorFlow运行依赖并不复杂,从底层到上层,依赖关系如下图所示:


运行依赖

显卡
目前深度学习使用的主流GPU大多是Nvidia的显卡。而大家常用的是GeForce系列和Tesla系列。从Nvidia的角度,GeForce系列定位在游戏市场,Tesla系列定位在数据中心。但实际上从经济考虑,很多公司都使用GeForce做模型训练,然后使用Tesla做线上服务(Nvidia禁止公司使用Tesla系列之外的显卡作为数据中心)。
驱动
驱动运行在系统的内核态,是操作系统的一部分,直接跟显卡硬件打交道,是应用层和硬件打交道的门户。不同的显卡需要不同的驱动。
CUDA
CUDA运行在系统的应用层,对通用GPU计算操作做了封装,方便其他组件调用。
cuDNN
cuDNN依赖CUDA库,封装了常用的深度学习方法,供更上层的组件调用。
TensorFlow GPU版本要求
不同版本的TensorFlow,对运行环境是有不同的要求。驱动版本的选择,主要依赖于显卡型号。而CUDA、cuDNN、Python版本的选择,则需要依赖TensorFlow GPU版本的选择:

依赖版本

参考:https://www.tensorflow.org/install/source

在有了显卡之后,后面需要做的,就是从下到上,安装对应版本的驱动、CUDA库、cuDNN库、Python和TensorFlow了。

具体环境搭建步骤

下面我们以超微的GPU工作站为例,逐步搭建TensorFlow GPU开发环境。
系统环境

  • GTX 1080TI 四卡
  • Ubuntu 16.04
  • 目标:TensorFlow GPU 1.10.0版本

(一)驱动安装
驱动选择地址:https://www.nvidia.com/Download/index.aspx?lang=en-us

驱动选择

最终,会下载得到xxx.run的安装文件,直接使用shell安装,

    # sudo sh xxx.run

(二)CUDA安装
下载地址:https://developer.nvidia.com/cuda-zone

最新CUDA

我们需要安装的TensorFlow GPU版本为1.10.0,所以CUDA的版本是9。但直接打开是最新版本的CUDA。可以选择上面的“Legacy Releases”,然后,选择需要的版本,
对应版本CUDA

最终,会下载得到xxx.run的安装文件,直接使用shell命令进行安装,

    # sudo sh xxx.run

(三)CUDNN安装
下载地址(需要注册):https://developer.nvidia.com/cudnn
cuDNN主要和CUDA版本对齐,

cuDNN

cuDNN主要下载两个文件,
两个文件

下载的两个xxx.deb文件,通过dpkg -i命令进行安装,

    # dpkg -i xxx.deb

(四)Python安装
Python可以采用Anaconda环境,具体的安装步骤就不详细展开了,工作中选择了Python3.6版本。只提两点:
全局环境变量设置
Anaconda默认会将环境变量设置到~/.bashrc文件中。如果想全局可见,可以手动在/etc/profile文件中添加环境变量。
使用清华的下载链接
Anaconda的官方下载,国内下载速度很慢,可以直接使用清华的源。
地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
(五)TensorFlow GPU安装
TensorFlow安装先对简单,直接使用pip命令进行安装即可,但低于1.13.0版本的TensorFlow GPU版本,不能直接使用“pip install tensorflow-gup===xxx”来安装。需要手动下载安装文件,然后进行安装。
TensorFlow GPU历史版本下载地址:https://pypi.org/project/tensorflow-gpu/

历史版本

TensorFlow GPU也可以使用清华的源,但源更新的可能不够及时:
清华TensorFlow GPU地址:https://mirrors.tuna.tsinghua.edu.cn/help/tensorflow/
清华地址

小结

TensorFlow的GPU版本安装,本身并不复杂。关键是要梳理清楚不同组件的依赖关系。不同组件之间没有特别的强依赖,如果发现其中的某个组件有问题,单独卸载和重装即可。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容