1安装grpc相关依赖：
sudo apt-get update && sudo apt-get install -y \
build-essential \
curl \
libcurl3-dev \
git \
libfreetype6-dev \
libpng12-dev \
libzmq3-dev \
pkg-config \
python-dev \
python-numpy \
python-pip \
software-properties-common \
swig \
zip \
zlib1g-dev
2 安装grpc
pip install grpcio
3安装 tensorflow-serving-api
pip install tensorflow-serving-api
4 安装tensorflow-model-server
echo "deb [arch=amd64] http://storage.googleapis.com/tensorflow-serving-apt stable tensorflow-model-server tensorflow-model-server-universal" | sudo tee /etc/apt/sources.list.d/tensorflow-serving.list
curl https://storage.googleapis.com/tensorflow-serving-apt/tensorflow-serving.release.pub.gpg | sudo apt-key add -
sudo apt-get update && sudo apt-get install tensorflow-model-server
5 安装docker
sudo apt-get install docker.io
由于docker官网被封，会报连接网络超时的错误，需要指定网站。
sudo vim /etc/docker/daemon.json
添加如下内容
{"registry-mirrors": ["http://74ecfe5d.m.daocloud.io"],
"runtimes": {
"nvidia": {
"path": "/usr/bin/nvidia-container-runtime",
"runtimeArgs": []
}
}
}
保存退出。
systemctl daemon-reload
systemctl restart docker
重启docker.
使用hello-world命令验证docker是否安装成功。
sudo docker run hello-world
出现如下图片说明配置成功。
6 下载serving镜像
docker pull tensorflow/serving:latest-devel
由于上文已经配置网络位置，所以本步不会出现连接超时的错误。
使用命令查看安装好的镜像。
sudo docker images
tensorflow/serving为本步安装好的镜像。
7使用 serving镜像创建容器：
docker run -it -p 8500:8500 tensorflow/serving:latest-devel
如下图，说明已经进入docker.
8 模型导出
我们这里直接使用 https://github.com/opensourcesblog/tensorflow-mnist/tree/master/cps 下已经train好导出的checkpoint文件，使用下述脚本进行模型导出工作。脚本中的路径根据自己实际情况替换。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import tensorflow as tf
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
x = tf.placeholder("float", [None, 784], name="x")
y = tf.nn.softmax(tf.matmul(x, W) + b, name="y")
saver = tf.train.Saver()
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
ckpt = tf.train.get_checkpoint_state("./cps/")
if ckpt and ckpt.model_checkpoint_path:
print(ckpt.model_checkpoint_path)
saver.restore(sess, ckpt.model_checkpoint_path)
# summary = tf.summary.merge_all()
# summary_writer = tf.summary.FileWriter('/Users/andy/Downloads/mnist_logs_2', sess.graph)
builder = tf.saved_model.builder.SavedModelBuilder("/Users/andy/Downloads/mnist_tfserving_model")
prediction_signature = tf.saved_model.signature_def_utils.build_signature_def(
inputs={
'x': tf.saved_model.utils.build_tensor_info(x),
},
outputs={
'y': tf.saved_model.utils.build_tensor_info(y),
},
method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME)
legacy_init_op = tf.group(
tf.tables_initializer(), name='legacy_init_op')
builder.add_meta_graph_and_variables(
sess, [tf.saved_model.tag_constants.SERVING],
signature_def_map={
'mnist':
prediction_signature,
},
clear_devices=False,
legacy_init_op=legacy_init_op)
builder.save()
print("model export done.")
导出的模型需要在外层加一层目录命名为 1 ，后续tfserving会以此作为模型的版本标识。目录结构如下：
9 模型传输
在ubuntu终端（需要另开一个终端，记住不要在docker容器里面）将自己的模型文件拷贝到容器中，
sudo docker cp /home/user/zhaobing/docker/tensorflow-mnist/mnist_tfserving_model bafaaaa573b4:/
左侧为模型文件本地位置，右侧为docker容器位置，bafaaaa573b4为container id,如果没有commit,每次启动docker ，container id会改变，可以使用commit进行固定。container id查询命令为
sudo docker ps
10 在容器中运行tensorflow_model_server服务
tensorflow_model_server --port=8500 --model_name=mnist --model_base_path=/mnist_tfserving_model/
model_name自己设定即可，注意文件路径可能引起的错误。
11 镜像保存
默认情况下，镜像退出后，所有操作都将清零，可以使用commit命令进行对现有镜像进行新的构建。
使用exit命令退出现有的docker
exit
构建新的镜像
sudo docker commit 614122c0aabb tensorflow/models
614122c0aabb为上文退出的镜像的 container ID (用sudo docker ps)
tensorflow/models为目标镜像仓库、镜像名。可自行设定。
进入镜像,即为新构建的镜像，之前做的修改均可复用。
sudo docker run -it -p 8500:8500 tensorflow/models
注意
使用命令进入docker环境时，
user@user-PowerEdge-T630:~$ sudo docker run -it -p 8500:8500 tensorflow/serving:latest-devel
默认进入的路径为：
root@ea549459413d:/tensorflow-serving#
而将本地文件传输至docker中需要传入其上级路径，故上文路径这样规定。
sudo docker cp /home/user/zhaobing/docker/tensorflow-mnist/mnist_tfserving_model bafaaaa573b4:/
