GPU 云主机深度学习一条龙服务----快速上手

  • 简介

想进行深度学习的实验,但是没有计算资源?那当然先选择租个 GPU 主机耍耍啦~

下文将介绍本地登录远程主机,运行深度学习实验的完整过程。此次实验旨在快速完成整个过程,只涉及几个简单的命令,同时以形象的实验结果来感受深度学习的魅力。

本次实验环境为 Mac + 美团云

  • 完成主机搭建

在美团云中选择 GPU 云主机,目前的类型为 Telsa M60 ,记得勾选预装深度学习框架!之后的登录方式选择 密码登录 ,其他无需改动。


搭建完成之后在美团云的控制台中显示的情况如下:


  • 本地登录

打开 Terminal ,使用 ssh 命令实现远程登录,格式如下:
$ ssh <remote user>@<remote machine>

在这次操作中,根据云主机的用户名和 IP 地址,命令如下:
$ ssh root@43.241.212.70

在第一次登录的时候会有提示:Are you sure you want to continue connecting (yes/no)?这个时候选择 yes 就好,之后会要求你输入密码,那么输入自动生成的密码就可以了,这次操作中就是 79p5CbZ5Zux9,直接复制粘贴过去。登录成功后就可以在本地对远程的主机进行操作啦。

  • 开发环境分析

由于之前选择了预先安装深度学习框架,环境搭建的任务这种烦人的任务已经解决啦!
输入 # python 可以看到该环境下 Python 是 2.7 版本的。

此时还有很多库并没有预先装好,这次我还需要的用的库是 Pandas,Sklearn,安装命令 :pip install pandas 会报错,根据提示修改命令就可以安装了。

  • 传输文件到云主机

GPU 主机比较贵,运行不运行都要收费,所以我的选择就是先在本地把代码调试一遍,再上传到主机运行。打好压缩包之后,在本地使用 scp 命令传输:

$ scp <local file> <remote user>@<remote machine>:<remote path>

在本次操作中,我的文件放在本地的桌面上,准备传到云主机的 home 文件夹里,命令如下:

$ scp ~/Desktop/carvana.zip root@43.241.212.70:/home

需要注意的是,在 IP 地址之后有一个冒号 ' : ' 落了会报错。

之后终端里就会显示传输进度,成功后再到主机的 home 文件里就会看到传输过来的压缩包了。
同时也可以在本地使用该命令将云主机的文件传到本地:

$ scp <remote user>@<remote machine>:<remote path> <local file>
  • 深度学习实验

上面传输的文件 carvana.zip 来源于Kaggle 上的一个竞赛:Carvana Image Masking Challenge 这个竞赛要求参赛者使用算法将图片中汽车的背景去除,介绍的图片如下:


分类的任务玩多了,觉得这个很有意思,于是我选择了这个来实验,还有个 motivation : 人物背景去除 可以了解一下。

我这次的实验代码和思路主要参考的是 Keras starter 的解决方案,我试着在现在这个环境下装 opencv ,但是碰到了很多 bug,懒惰的我选择了Keras 的 ImageDataGenerator ,这个 Keras 的包十分方便,设置简单的几个参数就可以进行 Data Augmentation 以及图像的 resize,同时自动将目录下的图片文件分类,生成迭代器以便给模型喂数据。

下面是我做的一个简单的实验的结果,使用了比较小的模型,仅仅只跑了十多次 epoch(就这个实验的测试来说···大约 230s 左右 GPU 可以跑一轮,CPU上我过了一个多小时第一轮都还没跑完···):


测试数据原图
U-Net 网络生成的 mask

mask 提取的汽车

对于我这种新手来说呢,结果挺出乎我意料的,感觉还不错,但是明显还有很大的改进空间!这个实验效果很直观,一下就展示了深度学习的魅力,比分类任务要激动人心得多,有了这样的 motivation,才有动力继续努力下去!具体的代码地址:实验代码

  • 改进登录环节

之前的介绍的命令足够让我们能够完成实验的整个过程,但是实际的操作的体验并不好,每一次登录都需要输入 IP 地址和密码,特别这个密码特别长,下面是简化这些繁琐过程的操作。

  • 添加 DNS 解析

只需要在 hosts 文件里添加对应的 IP 地址和名称就可以根据名称解析出 IP 地址。
$ vim /private/etc/hosts
添加如下 remote 的信息:

image.png

之后我就可以用 $ ssh root@remote 进行登录了,下面是省去密码输入步骤的操作。

  • ssh 免密码登录

首先在本地生成 ssh 密钥 $ ssh-keygen ,这个命令会在 ~/.ssh/ 下生成密钥,之后再执行以下命令:
$ ssh <remote user>@<remote machine> 'mkdir -p .ssh && cat >> .ssh/authorized_keys' < ~/.ssh/id_rsa.pub
之后再次登录就不需要输入密码了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,319评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,801评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,567评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,156评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,019评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,090评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,500评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,192评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,474评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,566评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,338评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,212评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,572评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,890评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,169评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,478评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,661评论 2 335

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,495评论 18 139
  • CA和证书安全协议(SSL/TLS)OpenSSH 一、CA和证书 (一) PKI(Public Key Infr...
    哈喽别样阅读 1,372评论 0 0
  • win7 cmd管理员权限设置 net localgroup administrators 用户名 /add 把“...
    f675b1a02698阅读 5,113评论 0 11
  • 部分内容转载自搜狗百科 cmd是command的缩写.即命令提示符(CMD),是在OS / 2 , Windows...
    青冥之上阅读 2,379评论 0 24
  • 我们都在时间的长河里穿梭,但我们并不知道如何利用好每分每秒。就像发现水的并不是鱼儿一样。直到一天鱼儿不小心游到了岸...
    罗理罗嗦阅读 181评论 0 0