2020-10-21 linux&cuda&anaconda

简单记录下这段时间在 Win & Linux 上跑 Internal GAN Git Project所学习到的,Pytorch环境搭建和使用的方法和小技巧

TIP:有些工程要求必须要用GPU,所以仅设置默认gpu_id=-1(直接使用CPU)是不行的

首先应该确定项目的GPU cudatoolkit版本与Pytorch版本的对用关系

cudatoolkit Vr与Pytorch Vr搭配表

小工具:CMD命令行输入

nvcc -V    //显示当前本机上安装的cudatoolkit版本

nvidia-smi    //显示当前GPU的CUDA Vr及Driver Vr

采用Anaconda配置Pytorch GPU版本的环境

Anaconda清华下载URL:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

小工具:wget +Download File URL 

eg:

wget http://www.wisdom.weizmann.ac.il/~vision/ingan/resources/checkpoint_0075000.pth.tar

用wget命令来下载文件可有效解决http下载经常中断而导致文件不完整,丢失等问题,如有需要可以尝试(windows下需要格外安装wget)

Linux下安装sh文件

bash 文件名.sh

安装Anaconda后,可以在CMD命令行中使用以下命令判断Anaconda是否顺利安装完成

conda -V

配置Conda国内镜像

在CMD命令行中直接输入

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/      //添加清华镜像

conda config --set show_channel_urls yes    //每次安装包时会将包源路径显示出来

(备选)配置Pip国内镜像

~临时使用

可以在使用pip的时候在后加参数 -i

eg:

python -m pip install ffmpeg -i https://pypi.tuna.tsinghua.edu.cn/simple    //python -m 是为了把package安装在当前环境目录下

~全局使用

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

或者在windows下,直接在user目录中创建一个pip目录,如:C:\Users\xx\pip,新建文件pip.ini ,内容如下

[global]

index-url = https://pypi.tuna.tsinghua.edu.cn/simple

安装好Conda后开始创建环境

建议用Conda小黑框,虽然Anaconda可视化操作界面也不错,但是应该培养使用命令行的能力,方便日后操作Linux系统

conda create -n really_pytorch python==3.6    //-n 是固定写法 really_pytorch 是创建的环境名字 python==3.6是指定python版本

conda remove -n really_pytorch --all    //相对应的卸载环境的写法

检索当前存在环境

conda env list 

激活环境

conda activate really_pytorch    //激活 really_pytorch 环境

conda deactivate really_pytorch    //相对应的注销 really_pytorch 环境

安装所需要的包

TIP:可能有些人喜欢用Pycharm安装所需要的package,这样会存在诸多问题,建议不要采用该方案

以InGAN GIT Project为例,需要安装pytorch,cudatoolkit=9.2,ffmpeg,sk-video,pillow,matplotlib等package

conda install pillow    //安装pillow package

conda install pytorch=1.4    //安装指定版本的package

python -m pip install scikit-video    //当用conda无法安装某些包时,可改用pip安装

conda install pytorch torchvision cudatoolkit=9.2 -c pytorch    //安装时若去掉-c pytorch 则会采用事先设定好的清华镜像

当不确定一个包的可用版本时,可以用search命令

eg:

conda search pillow

补充

Pycharm相关

可以使用Pycharm打开项目,解释器Interpreter选择以上配好的环境(really_pytorch),通过Pycharm的报错来检查还缺少那些package,此外可以通过勾选SSH中自动上传文件到服务器,实现和服务器文件同步的效果

TIP:选择解释器Interpreter路径时,如果忘记了配好的环境的位置,可以在conda已经激活环境的情况下,使用 conda list 命令显示环境位置

图中绿色字体就是环境位置

知道环境位置后,在Pycharm里选择 环境位置/bin/python 即可成功设置解释器Interpreter

Linux screen用法

在Linux服务器上跑项目,人不会一直守着,可以采用Linux的Screen命令实现断开远程连接后,任务不中断

screen -S really    //创建名字叫 really 的会话

Ctrl+a d    //需要离开时按住 ctrl 按 a 后再 d

screen -r really    //再次上线后查看really会话

screen -ls      // 如果忘记了之前创建会话的名字,或者当时没有指定会话名,可用此查看当前存在的会话

exit    //退出会话

Linux 解压tar.gz文件

tar zxvf ........tar.gz

2021/03/09补充

用conda info查询当前env位置,最好不要放在c盘

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,635评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,628评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,971评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,986评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,006评论 6 394
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,784评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,475评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,364评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,860评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,008评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,152评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,829评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,490评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,035评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,156评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,428评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,127评论 2 356