【theano】win10+anaconda+python3.6+theano1.0/Tensorflow/CNTK安装

网络上的教程很多，但有很多不符合情况，更甚者有很多错误。比如一窝蜂都要安装MinGW, 甚至有重新安装GCC编译器的，要求.theanorc.txt没有空格的，设置PYTHONPATH为theano目录的。。。
偶然看到一篇非常完善的教程，但里面也有一些包太老，借此翻新总结下，为后面进坑者指路。
参考https://github.com/philferriere/dlwin和https://zhuanlan.zhihu.com/p/29903472?utm_source=wechat_session&utm_medium=social（本文有部分图摘自该博客）

配置了 VS 2015、Anaconda 3.4、CUDA 8.0 和 cuDNN v5.1 等基本环境，然后再从 Keras 出发安装 Theano、TensorFlow 和 CNTK 以作为其后端，并在MNIST实验中实验了不同后端的性能。

1. VS2015，CUDA， cuDNN, Anaconda安装见前篇

2. 建立依赖环境，通过安装keras顺便安装theano

conda create  -n py36 python=3.6 numpy scipy mkl-service m2w64-toolchain libpython jupyter
activate py36
conda install -c conda-forge pygpu #They could be more up to date
conda install nose
pip install keras==2.0.5

注意：原文要求pygpu和libgpuarray均为0.6.2版本，但事实theano不再更新了，推荐安装theano 1.0版本，而该版本的theano要pygpu版本在0.7以上，0.8以下。而一般的pip或conda安装均为0.69，所以推荐用conda-forge安装最新版本。安装完pygpu,libgpuarray也会顺便安装好。

3. 安装CNTK

pip install https://cntk.ai/PythonWheel/GPU/cntk-2.0-cp36-cp36m-win_amd64.whl

而这会在对应环境下安装额外的CUDA和cuDNN,需要移除对应的cu*.dll文件（我的环境目录为D:\ProgramData\Anaconda3\envs\py36）

4. 安装Tensorflow

pip install tensorflow-gpu==1.2.0

5. 检查libraries

image.png

6. 检查是否3个后端都安装成功

python -c "import theano; print('theano: %s, %s' % (theano.__version__, theano.__file__))"
python -c "import pygpu; print('pygpu: %s, %s' % (pygpu.__version__, pygpu.__file__))"
python -c "import tensorflow; print('tensorflow: %s, %s' % (tensorflow.__version__, tensorflow.__file__))"
python -c "import cntk; print('cntk: %s, %s' % (cntk.__version__, cntk.__file__))"

7. 为方便启动，设置三个环境变量。

THEANO_FLAGS_CPU=floatX=float32,device=cpu
THEANO_FLAGS_GPU=floatX=float32,device=cuda0,dnn.enabled=False,gpuarray.preallocate=0.8
THEANO_FLAGS_GPU_DNN=floatX=float32,device=cuda0,optimizer_including=cudnn,gpuarray.preallocate=0.7,dnn.conv.algo_bwd_filter=deterministic,dnn.conv.algo_bwd_data=deterministic,dnn.include_path=D:/Program Files/GPU computing Toolkit/v8.0/include,dnn.library_path=D:/Program Files/GPU computing Toolkit/v8.0/lib/x64/

由于theano只识别THEANO_FLAGS，所以通过set THEANO_FLAGS=%THEANO_FLAGS_CPU%或者其余两个GPU/GPU_DNN来决定运行方式，通过set KERAS_BACKEND=theano/tensorflow/cntk来决定后段

8. PATH 环境变量

image.png

9. 测试

见参考链接

10. 遇到的问题

cpu和gpu运行正常，但cuDNN加速不能用，报错

Can not use cuDNN on context None: cannot compile with cuDNN. We got this error:

In file included from C:\\CUDA\\v8.0\\include/driver_types.h:53:0,      
from C:\\CUDA\\v8.0\\include/cudnn.h:63,
from C:\\Users\\jtc92\\AppData\\Local\\Temp\\try_flags_733_4ik6.c:4:
C:\\CUDA\\v8.0\\include/host_defines.h:84:0: warning: "__cdecl" redefined
#define __cdecl <built-in>: 
note: this is the location of the previous definition

C:/Anaconda3/Library/mingw-w64/bin/../lib/gcc/x86_64-w64-mingw32/5.3.0/../../../../x86_64-w64-mingw32/bin/ld.exe: 
cannot find -lcudnn\r\ncollect2.exe: error: ld returned 1 exit status

参考issues，再次查看THEANO_FLAGS_GPU_DNN，分隔符是/，不是\

报错configparser.py的，看看是否PYTHON_HOME这样的变量写错了
VS的主要作用是提供cl.exe，如果涉及cl.exe，可以考虑这个角度
还有theano编译器不固定，需要制定cxx，参考这个
一直提示需要指定一个DEVICE，查看theano源码，发现os.environ中并没有传DEVICE=cuda, 虽然.theanorc.txt有写，所以目前是通过环境变量来启动的。
还有WARNING: Using NumPy C-API based implementation for BLAS functions,这个也待解决

最后编辑于：2018.04.28 05:00:34