【TVM系列一】开发环境搭建

一、前言

众所周知,深度学习的计算量庞大,在追求效率与实用性的工业界,深度学习所面临的一个最大的问题就是如何在不影响模型精度的前提下将算法模型部署到目标硬件平台上进行高效的前向计算。

和单纯研究相比,在工业界主要遇到了两个问题:

  • 深度学习框架众多,caffe / mxnet / tensorflow / pytorch训练出来的模型都彼此有不同的分发格式,对于部署有环境兼容的问题。

  • 硬件价格昂贵,一些嵌入式平台没有使用GPU的条件。同时一些人也开始在做FPGA/ASIC的深度学习加速卡。

针对这些问题,TVM应运而生,为了解决第一个问题,TVM内部实现了自己的IR,可以将上面这些主流深度学习框架的模型转换为统一的内部表示,主要是通过NNVM进行转换。

image.png

为了解决第二个问题,TVM内部有多重机制来做优化。其中一个特点是,使用机器学习(结合专家知识)的方法,通过在目标硬件上跑大量trial,来获得该硬件上相关运算(例如卷积)的最优实现。这使得TVM能够做到快速为新型硬件或新的op做优化。

本文作为TVM系列文章的开篇,先从TVM的开发环境搭建开始。

二、开发环境搭建

1、Anconda安装

  • 下载32位anconda
wget https://repo.anaconda.com/archive/Anaconda3-5.3.1-Linux-x86.sh
  • 安装
chmod +x Anaconda3-5.31-Linux-x86.sh
./Anaconda3-5.31-Linux-x86.sh

根据提示输入yes/no,最后source .bashrc更新环境配置即可。

2、TVM库源码编译

从源码编译tvm分两步:

(1)将C++代码编译成libtvm.so和libtvm_runtime.so

(2)配置python包

  • 下载源码:
git clone --recursive https://github.com/apache/tvm tvm

编译需要的环境配置:支持C++14的c++编译器g++ >= g++-5,CMake >=3.5

sudo apt-get update
sudo apt-get install -y python3 python3-dev python3-setuptools gcc libtinfo-dev zlib1g-dev build-essential cmake libedit-dev libxml2-dev

遇到问题:

W: An error occurred during the signature verification. The repository is not updated and the previous index files will be used. GPG error: http://storage.googleapis.com/bazel-apt stable InRelease: The following signatures were invalid: KEYEXPIRED 1590239453  KEYEXPIRED 1590239453  KEYEXPIRED 1590239453
W: Failed to fetch http://storage.googleapis.com/bazel-apt/dists/stable/InRelease  The following signatures were invalid: KEYEXPIRED 1590239453  KEYEXPIRED 1590239453  KEYEXPIRED 1590239453
W: Some index files failed to download. They have been ignored, or old ones used instead.

解决:

curl https://bazel.build/bazel-release.pub.gpg | sudo apt-key add -
  • 下载llvm,用于CPU后端代码生成:
wget https://apt.llvm.org/llvm.sh
chmod +x llvm.sh
sudo ./llvm.sh 10

遇到问题:

apt-get install -y clang-12 lldb-12 lld-12 clangd-12
E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarily unavailable)
E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), is another process using it?

解决:

sudo rm /var/lib/dpkg/lock
  • 编译tvm:
mkdir build && cp cmake/config.cmake build

修改cmake/config.cmake中的配置,将set(USE_LLVM OFF)改为ON,然后就可以编译了:

cd build && cmake .. && make -j4

编译完成后在build目录会生成libtvm.so与libtvm_runtime.so两个动态库文件

3、TVM python软件包使用配置

安装xgboost遇到问题:

Command "/home/zgs/anaconda3/envs/py36/bin/python3 -u -c "
import setuptools, tokenize;__file__='/tmp/pip-install-5hsr7l_p/xgboost/setup.py';
f=getattr(tokenize, 'open', open)(__file__);
code=f.read().replace('\r\n', '\n');f.close();
exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-record-53aqs7l9/install-record.txt --single-version-externally-managed --compile" 
failed with error code 1 in /tmp/pip-install-5hsr7l_p/xgboost/

解决:

pip install --upgrade --force pip 
pip install setuptools==33.1.1

xgboost需要cmake版本 > 3.11,升级cmake:

wget https://github.com/Kitware/CMake/releases/download/v3.20.5/cmake-3.20.5.tar.gz
./configure && make && sudo make install
ln -sf /usr/local/bin/cmake /usr/bin/cmake
ln -sf /usr/local/bin/ctest /usr/bin/ctest
ln -sf /usr/local/bin/cpack /usr/bin/cpack

遇到问题:

CMake Error at /usr/local/share/cmake-3.5/Modules/FindPackageHandleStandardArgs.cmake:148 (message):
Could NOT find OpenSSL, try to set the path to OpenSSL root folder in the
system variable OPENSSL_ROOT_DIR (missing: OPENSSL_LIBRARIES
OPENSSL_INCLUDE_DIR)
Call Stack (most recent call first):
/usr/local/share/cmake-3.5/Modules/FindPackageHandleStandardArgs.cmake:388 (_FPHSA_FAILURE_MESSAGE)
/usr/local/share/cmake-3.5/Modules/FindOpenSSL.cmake:370 (find_package_handle_standard_args)
CMakeLists.txt:61 (find_package)

解决:

sudo apt-get install libssl-dev

安装python依赖包:

pip3 install --user numpy decorator attrs
# For RPC tracker
pip3 install --user tornado
# For auto-tuning module
pip3 install --user tornado psutil xgboost cloudpickle

添加tvm环境变量到.bashrc文件,执行source .bashrc:

export TVM_HOME=/path/to/tvm
export PYTHONPATH=$TVM_HOME/python:${PYTHONPATH}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,548评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,497评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 167,990评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,618评论 1 296
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,618评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,246评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,819评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,725评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,268评论 1 320
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,356评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,488评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,181评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,862评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,331评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,445评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,897评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,500评论 2 359

推荐阅读更多精彩内容