谷歌云_如何配置Compute Engine GPU深度学习环境

Step 1:安装Google Cloud SDK

GCP注册账号并领取300刀免费credit之后,可以现在本机安装google cloud SDK. 然后就可以在终端上使用gcloud command.

Step 2:增加配额

在“导航菜单”找IAM和管理这个选项并选择配额

配额添加

进入页面后,服务选择Compute Engine API, 指标选GPUs(all regions)。然后填写手机号和申请理由,然后确认。大约2小时后会收到一封邮件,通知你配额申请成功,然后我们就可以使用带GPU的compute engine啦!

关于compute engine的配置就根据个人要求。我们可以用它默认名字instance-1。 可选择CPU2个, 13GB内存,任意GPU一个(注意价格),Ubuntu 16.04 LTS,磁盘256GB。

然后确定就可以了。

连接Instance

因为先前已经装好gcloud sdk。这里就可以简单用gcloud 指令连接instance.


$ gcloud compute ssh instance-1


现在应该已经顺利进入刚才配置好的GPU instance了。接下来要安装机器学习的基本软件包Tensorflow GPU, CUDA(GPU的驱动),和Anaconda.

安装CUDA

$ curl -O https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_8.0.61-1_amd64.deb

$ sudo dpkg -i cuda-repo-ubuntu1604_8.0.61-1_amd64.deb

$ sudo apt-get update

$ sudo apt-get install cuda-9-0

$ sudo nvidia-smi -pm 1

$ sudo nvidia-smi -ac 2505,875

$ echo 'export CUDA_HOME=/usr/local/cuda' >> ~/.bashrc

$ echo 'export PATH=$PATH:$CUDA_HOME/bin' >> ~/.bashrc

$ echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64' >> ~/.bashrc

$ source ~/.bashrc

$ nvidia-smi

如果能看到如下页面就是安装成功了。

nvidia-smi


安装Anaconda

$ curl -O https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh

$ sha256sum Anaconda3-5.0.1-Linux-x86_64.sh

$ bash Anaconda3-5.0.1-Linux-x86_64.sh

$ source ~/.bashrc

$ conda list

Virtual Environment


$ conda create --name tf_gpu tensorflow-gpu


在建立虚拟环境的时候发现又很多版本之间不匹配的问题,最后发现最省事的方法就是直接用tensorflow-gpu这个包建立环境。

但这个包还是差一些pandas opencv和Pillow这些基础包,记得要手动安装。

$ screen -S test1

建立一个新的screen进入后再运行,之后方便后台运行。

$ source activate tf_gpu

激活这个环境,然后就可以在这个环境里跑你的深度学习模型啦!


关于scp上传/下载文件

scp -i private key [local_file] [name@外部IP:~]

一些例子:

-i 是上传文件 -r -i是整个路径

上传文件:scp -i ~/.ssh/google_compute_engine ./Downloads/model_classweight_qwk.py jingjingwu@35.193.181.43:~

下载文件:scp -r -i ~/.ssh/google_compute_engine jingjingwu@35.193.181.43:./fit/ ./Downloads

具体可以参考这个网站:https://www.cnblogs.com/no7dw/archive/2012/07/07/2580307.html#4229632

Fin.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
禁止转载,如需转载请通过简信或评论联系作者。

相关阅读更多精彩内容

友情链接更多精彩内容