1贫穷的炼丹师连炼丹炉都没有,如何白嫖网上的GPU服务器资源呢
网上确实有不少处于商业利益提供一些免费GPU资源的项目,但是这些项目存在一些限制,比如百度AI studio,就只能使用他们的paddle paddle框架,否则会强制中断进程。
这里我发现了谷歌的良心资源,colab,合理组织起使用流程,完全不亚于一台服务器。
XX上网
暂且不表,请大家各显神通
注册谷歌账户,登录谷歌硬盘
https://drive.google.com/drive
建立工作空间和数据空间
比如建立datasets文件夹,上传数据,建立workspace文件夹作为代码保存空间
进入colab,创建对应的工作环境
进入colab
创建GPU环境
挂载谷歌硬盘到colab
输入如下代码,点击弹出的链接,获取授权码,将授权码复制到方框中,按回车键,挂载硬盘
from google.colab import drive
drive.mount('/content/drive')
进入工作路径
import os
os.chdir("/content/drive/MyDrive/xxxxx/") # xxxx是你的谷歌硬盘文件夹的名字
准备工作环境
类似于如下语法,在命令前加!,可以被认为是执行中端代码
! pip install concurrent_log_handler
! pip install seqeval==0.0.3
! pip install transformers==3.1.0
拉取工作代码
git clone https://github.com/kelseyhightower/nocode.git
git pull origin master
使用GPU训练模型
例如使用命令行的方式
! python main.py --task ccks_addr --arch lstm_crf --prepared_data ccks_addr_elements_prepared_data --save-dir ccks_addr_checkpoints --mode train --batch-size 8 --max-epoch 200
更新代码
更新代码从github中转,然后从colab用git拉取代码,操作起来很方便
断连的解决办法(暂定)
function ClickConnect(){
console.log("Working");
document.querySelector("colab-toolbar-button#connect").click()
}
setInterval(ClickConnect,60000)