配置这个环境配了好几天,感觉tensorflow c++版本的配置好麻烦,特此记录下来
首先介绍下我的环境
- Ubuntu16.04
- tensorflow1.13.1
- Cuda10.0
- cudnn7.6.0
1.安装anaconda3
从官网下载anaconda安装包,对应linux版本,python3.7,然后
bash Anaconda3-2019.03-Linux-x86_64.sh
安装anaconda,按照提示来就行,完成后将anaconda路径添加到~/.bashrc
vim ~/.bashrc
将下面代码添加到文件最后
# conda
export PATH="$PATH:$HOME/bin"
然后更新bashrc
source ~/.bashrc
python3.7对我来说版本太高,需要的是3.6版本,可以通过
conda install python=3.6
对其版本进行降级
anaconda源都是国外的,网速可能会比较慢,可以加入清华源,下面是其网址
https://mirror.tuna.tsinghua.edu.cn/help/anaconda/
2.安装opencv3.4
2.1 下载opencv3.4.6
在http://opencv.org/releases.html网站中下载opencv3.4.6,记得选择source版本
2.2 安装
sudo apt-get install cmake
sudo apt-get install build-essential libgtk2.0-dev libavcodec-dev libavformat-dev libjpeg.dev libtiff4.dev libswscale-dev libjasper-dev unzip
unzip unzip opencv-3.4.6.zip
接下来创建build文件夹,然后在里面进行编译
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
sudo make -j4
-j4代表开四个线程进行编译,若报错的话直接使用make进行编译
最后进行安装
sudo make install
2.3 环境配置
sudo vim /etc/ld.so.conf.d/opencv.conf
在打开的文件最后,加入/usr/local/lib
,然后保存退出
使用sudo ldconfig
更新刚才的文件
sudo vim /etc/bash.bashrc
在文件末尾加上
PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig
export PKG_CONFIG_PATH
然后执行下面命令保存修改
source /etc/bash.bashrc
sudo updatedb
2.4 测试
在opencv-3.4.6/samples/cpp/example_cmake目录下,有一个cmake的example我们可以拿来测试
按顺序执行
mkdir build
cd build
cmake ..
make
./opencv_example
3.安装bazel
bazel是编译tensorflow的工具
3.1安装所需要的包
sudo apt-get install pkg-config zip g++ zlib1g-dev unzip python3
因为我使用的是anaconda环境,所以就没有安装python3.
3.2下载bazel
tensorflow1.13对应的bazel是0.19.2,所以要在这个链接下载bazel0.19.2版本,找到那个 bazel-0.19.2-installer-linux-x86_64.sh 文件,下载下来。
或者使用下面命令
curl -L https://github.com/bazelbuild/bazel/releases/download/0.19.2/bazel-0.19.2-installer-linux-x86_64.sh > bazel-0.19.2-installer-linux-x86_64.sh
3.3运行安装程序
chmod +x bazel-0.19.2-installer-linux-x86_64.sh
./bazel-0.19.2-installer-linux-x86_64.sh --user
--user 表示将bazel安装在$HOME/bin下面
3.4设置环境
export PATH="$PATH:$HOME/bin"
sudo ldconfig
将bazel的安装目录添加到环境中
可以将此命令添加到~/.bashrc文件中
到此bazel就安装成功了。
4.安装cudnn7.6.0
因为环境中只配置了cuda10.0,并没有对应的cudnn,就需要安装一下,从官网进行下载,注意与cuda版本进行对应。官网需要注册账户,填写信息,然后就可以下载了。只需要下载 cudnn-10.0-linux-x64-v7.6.0.64.tgz即可
sudo tar -xzvf cudnn-10.0-linux-x64-v7.6.0.64.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*
然后就可以通过
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
查看cudnn版本
5.安装tensorflow
5.1下载tensorflow
sudo apt-get install git wget
git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow
git checkout r1.13 # 切换到所要编译的版本分支
5.2编译tensorflow
首先是环境
$ sudo apt-get install autoconf automake libtool curl make # Protobuf Dependencies
$ sudo apt-get install python-numpy swig python-dev python-wheel # TensorFlow Dependencies
若是安装了anaconda就不需要第二个命令了
进入tensorflow文件夹
./configure
启动其配置文件,对于里面的都选no,是否支持cuda选择yes,然后都使用默认地址就可以
然后使用bazel编译tensorflow源码
// 无显卡,cpu版本
bazel build --config=opt //tensorflow:libtensorflow_cc.so
// 有显卡
bazel build --config=opt --config=cuda //tensorflow:libtensorflow_cc.so
// 若是bazel-bin/tensorflow下面没有libtensorflow_framework.so文件,就运行下面代码
bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.2 --config=monolithic //tensorflow:libtensorflow_framework.so
网上有说加入--config=monolithic,可以让tensorflow支持opencv。我自己测试的情况是不加这个命令,也可以使用opencv,但是加入的话没办法指定GPU,会出现Duplicate registration of device factory for type GPU with the same priority 210
错误
5.3安装其他依赖
在tensorflow/contrib/makefile下,执行build_all_linux.sh文件,成功后会出现一个gen文件夹
source tensorflow/contrib/makefile/build_all_linux.sh
如需Eigen库,则进入tensorflow/contrib/makefile/downloads/eigen,执行:
mkdir build
cd build
cmake ..
make
sudo make install
6.测试
我使用的CMakeLists.txt的内容如下,我添加了opencv库,若是不需要可将其删除
#设置cmake的最小版本
cmake_minimum_required(VERSION 2.8)
#项目名称
project(tf_project)
#编译的文件
set(SOURCE_FILES classification.cpp)
#编译的可执行文件名
set(EXECUTE_FILE tf_test)
#设置opencv
find_package(OpenCV REQUIRED )
#设置c++编译器
set(CMAKE_CXX_STANDARD 11)
#设置TENSORFLOW_DIR变量,变量内容为安装的tensorflow文件夹路径
set(TENSORFLOW_DIR /root/tensorflow)
#项目中的include路径
include_directories(${TENSORFLOW_DIR})
include_directories(${TENSORFLOW_DIR}/tensorflow/contrib/makefile/gen/proto)
include_directories(${TENSORFLOW_DIR}/tensorflow/contrib/makefile/gen/protobuf-host/include)
include_directories(${TENSORFLOW_DIR}/tensorflow/contrib/makefile/downloads/eigen)
include_directories(${TENSORFLOW_DIR}/tensorflow/contrib/makefile/downloads/nsync/public)
include_directories(${TENSORFLOW_DIR}/tensorflow/contrib/makefile/downloads/absl)
#项目中的lib路径
link_directories(${TENSORFLOW_DIR}/tensorflow/contrib/makefile/gen/lib)
link_directories(${TENSORFLOW_DIR}/tensorflow/contrib/makefile/gen/protobuf-host/lib)
link_directories(${TENSORFLOW_DIR}/tensorflow/contrib/makefile/downloads/nsync/builds/default.linux.c++11)
link_directories(${TENSORFLOW_DIR}/bazel-bin/tensorflow)
add_executable(${EXECUTE_FILE} ${SOURCE_FILES})
#连接libtensorflow_cc.so和libtensorflow_framework库
target_link_libraries(${EXECUTE_FILE} tensorflow_cc tensorflow_framework)
#链接opencv库
target_link_libraries(${EXECUTE_FILE} ${OpenCV_LIBS})
代码如下
#include "tensorflow/cc/client/client_session.h"
#include "tensorflow/cc/ops/standard_ops.h"
#include "tensorflow/core/framework/tensor.h"
int main()
{
using namespace tensorflow;
using namespace tensorflow::ops;
Scope root = Scope::NewRootScope();
// Matrix A = [3 2; -1 0]
auto A = Const(root, { {3.f, 2.f}, {-1.f, 0.f} });
// Vector b = [3 5]
auto b = Const(root, { {3.f, 5.f} });
// v = Ab^T
auto v = MatMul(root.WithOpName("v"), A, b, MatMul::TransposeB(true));
std::vector<Tensor> outputs;
ClientSession session(root);
// Run and fetch v
TF_CHECK_OK(session.Run({v}, &outputs));
// Expect outputs[0] == [19; -3]
LOG(INFO) << outputs[0].matrix<float>();
return 0;
}
7.其他
- 在配置configure的时候,提示有需要nccl,但是我并没有安装,不知道后续会不会有其他问题
- bazel与tensorflow、cuda、cudnn的对应关系,该网站有说明
- 对应tensorflow1.13的bazel不能使用0.19.0,会报错误
cc-compiler-k8: Error while selecting cc_toolchain: No toolchain found for cpu 'k8'
换成0.19.2就可以了。 - 参考文章