Windows 10 + NVIDIA配置 Anaconda + Python 3.6 + TensorFlow GPU + PyCharm

适用对象:在做机器学习/数据科学相关事情,不用online Jupyter,坚持在本地搭建环境的人..

在过去的一段时间,我一直在研究数据科学包括深度学习的相关内容。然而需要学习的知识似乎并不总是像你期望的那样顺利。

目前这个领域最常见的编程语言和事实上的标准是Python和R。
与任何其他编程语言和工具一样,总是需要学习和熟悉的众多工具和框架,以便充分利用它们。
你可以花费和浪费无数时间来学习如何安装和配置各种数据科学包,如Numpy,Matplotlib,TensorFlow等,试图解决各种包依赖关系。

如果你遇到Anaconda,它会成为你最好的朋友,因为它会帮你减轻入门的挫败感。
Anaconda发行版附带1000多个数据包,包括 conda和虚拟环境管理器。

在这篇文章中,我们将探讨如何使用Anaconda安装Jupyter Notebook并开始使用Tensorflow和Keras来开始深度学习。Jupyter Notebook非常有助于您熟悉数据科学项目中想要实现的任何内容。并帮你再AI时代脱颖而出(可以参考《分享你的Jupyter Notebook,在AI时代脱颖而出》)。

一个小问题

虽然大家都觉得Anaconda很好,但是,一个个小问题:

目前官网最新的Anaconda是集成Python 3.7的环境,注意是Python 3.7

而Python 3.7和当前最新的TensorFlow 稳定版是不兼容的!

所以这里我将以今天新鲜出炉的经验分享于你,
介绍如何在集成Python 3.7的Anaconda安装Python 3.6和TensorFlow-GPU。

电脑配置(供参考)

这里是我的电脑配置,供参考。
当然这只是一个入门级的配置。

  • Windows 10 Pro (Version 1803)
  • Intel(R) Core(TM) i7-8700 CPU @ 3.20 GHz (6核心/12超线程)
  • 16 GB Memory
  • 1 TB Hard Disk
  • NVIDIA GeForce GTX 1070

下面进入正题,建议按照这个顺序来安装是比较合理的。

一、创建Python 3.6环境

右键管理员启动anaconda Prompt

创建python36这个环境:

conda create --name python36 python=3.6

进入python36这个环境

conda activate python36

如果有需要回到 Python 3.7

如下:

conda deactivate 

二、安装 tensorflow-gpu

确认已经安装显卡驱动

如果没装,请先到NVIDIA官网下载(本文是针对NVIDIA显卡,如果是Intel或者AMD显卡,请先哭一会...)

开始装TensorFlow-gpu

先确保是在python36这个环境下:

conda activate python36

开始安装:

conda install tensorflow-gpu

需要装很多文件的,如果网速慢的话,估计需要几十分钟到几小时的。请耐心,这个没法,获取去找一个更好的源(已经超出本文范围..)

检查TensorFlow是否已安装好

在python36里,进入python,然后输入:

import tensorflow as tf
hello = tf.constant('Hello , Tensorflow! ')
sess = tf.Session()
print(sess.run(hello))

预期输出

b'Hello , Tensorflow! '

如果OK就对啦,当然,你可以能回到如下问题:

遇到mkl_intel_thread.dll无法找到的问题

解决办法(这也是Anaconda官方推荐的方案):
在conda prompt:

conda update python

再一次,需要装很多文件的,如果网速慢的话,估计需要几十分钟。

设置环境变量的值(可以在conda prompt设置,但下次就无效了;如需永久,在电脑环境变量设置)
set CONDA_DLL_SEARCH_MODIFICATION_ENABLE = 1

Disable GPU的Log信息

可能会有一堆的Warning,例如

2019-03-07 17:25:51.878252: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2
2019-03-07 17:25:52.221768: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1432] Found device 0 with properties:
name: GeForce GTX 1070 major: 6 minor: 1 memoryClockRate(GHz): 1.683
pciBusID: 0000:01:00.0
totalMemory: 8.00GiB freeMemory: 6.64GiB
2019-03-07 17:25:52.227274: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1511] Adding visible gpu devices: 0
2019-03-07 17:25:52.655576: I tensorflow/core/common_runtime/gpu/gpu_device.cc:982] Device interconnect StreamExecutor with strength 1 edge matrix:
2019-03-07 17:25:52.658983: I tensorflow/core/common_runtime/gpu/gpu_device.cc:988]      0
2019-03-07 17:25:52.660728: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1001] 0:   N
2019-03-07 17:25:52.662681: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1115] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 6396 MB memory) -> physical GPU (device: 0, name: GeForce GTX 1070, pci bus id: 0000:01:00.0, compute capability: 6.1)

解决办法:

在Python Code前设置log等级:

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

查看TensorFlowKeras版本:

import tensorflow as tf
from tensorflow.keras import layers

print(tf.VERSION)
print(tf.keras.__version__)

输出

1.12.0
2.1.6-tf

三、配置Jupyter Notebook

进入python36

conda activate python36

需要先安装ipykernel

命令如下:

conda install ipykernel
python -m ipykernel install --user --name python36 --display-name "Python (Python 3.6)"

输出:

Installed kernelspec python36 in C:\Users\***\AppData\Roaming\jupyter\kernels\python36

修改Jupyter的根目录

Jupyter个根目录默认在当前用户的Home路径。
这里示例将其改为D:\Jupyter路径
找到Jupyter Notebook的启动快捷方式,默认路径在:
C:\Users\******\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Anaconda3 (64-bit)

找到它的属性 -> 快捷方式,默认为(这里我是将Anaconda3安装在了D盘的根目录的):

D:\Anaconda3\python.exe D:\Anaconda3\cwp.py D:\Anaconda3 D:\Anaconda3\python.exe D:\Anaconda3\Scripts\jupyter-notebook-script.py %USERPROFILE%

把里面的%USERPROFILE% 替换为 D:\Jupyter,即可。

以后再通过Jupyter Notebook的快捷方式启动,根目录就在D:\Jupyter了。

四、配置PyCharm

虽说有了Jupyter Notebook,已经可以很方便的调试和查看Code,但是对于大一点的程序,还是直接在PyCharm里面编写比较方便。

  1. 在PyCharm中新建Project
  2. 在“Project Interpreter”中选择“Existing interpreter”
  3. 选择Python36这个路径下的python.exe作为interpreter

当然,除了PyCharm还有很多其他Python IDE是很推荐的,可以看这篇《推荐AI必备语言Python的几款IDE》

在PyCharm中测试一下

创建一个.py文件,还是用TensorFlow的例子,当然这次高级一点,来比较一下CPU和GPU的时间差异:

import tensorflow as tf
import timeit
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

# See https://www.tensorflow.org/tutorials/using_gpu#allowing_gpu_memory_growth
config = tf.ConfigProto()
config.gpu_options.allow_growth = True

with tf.device('/cpu:0'):
    random_image_cpu = tf.random_normal((100, 1000, 100, 3))
    net_cpu = tf.layers.conv2d(random_image_cpu, 32, 7)
    net_cpu = tf.reduce_sum(net_cpu)

with tf.device('/gpu:0'):
    random_image_gpu = tf.random_normal((100, 1000, 100, 3))
    net_gpu = tf.layers.conv2d(random_image_gpu, 32, 7)
    net_gpu = tf.reduce_sum(net_gpu)

sess = tf.Session(config=config)

# Test execution once to detect errors early.
try:
    sess.run(tf.global_variables_initializer())
except tf.errors.InvalidArgumentError:
    print(
        '如果出了这个Error表示GPU配置不成功!\n\n')
    raise


def cpu():
    sess.run(net_cpu)


def gpu():
    sess.run(net_gpu)


# Runs the op several times.
print('Time (s) to convolve 32x7x7x3 filter over random 100x1000x100x3 images '
      '(batch x height x width x channel). Sum of ten runs.')
print('CPU (s):')
cpu_time = timeit.timeit('cpu()', number=10, setup="from __main__ import cpu")
print(cpu_time)
print('GPU (s):')
gpu_time = timeit.timeit('gpu()', number=10, setup="from __main__ import gpu")
print(gpu_time)
print('GPU speedup over CPU: {}x'.format(int(cpu_time / gpu_time)))

sess.close()

输出:

Time (s) to convolve 32x7x7x3 filter over random 100x1000x100x3 images (batch x height x width x channel). Sum of ten runs.
CPU (s):
25.24234085335886
GPU (s):
1.5711942943447745
GPU speedup over CPU: 16x

不错~ 这个GPU和6个i7的CPU相比快了16倍!!

总结

为了安装使用TensorFlow-GPU,Anaconda提供简单、快速的安装方式。非常推荐!

最后,工具是前提,配置好了之后还是要更多的专注在算法、模型和原理上。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,014评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,796评论 3 386
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,484评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,830评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,946评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,114评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,182评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,927评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,369评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,678评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,832评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,533评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,166评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,885评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,128评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,659评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,738评论 2 351

推荐阅读更多精彩内容