Linux下SSH用ossutil命令上传文件到阿里云oss存储

安装ossutil

yum -y install wget

wget http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/50452/cn_zh/1524643963683/ossutil64

mv ossutil64 /usr/local/bin

cd /usr/local/bin

chmod +x ossutil64

mv ossutil64 ossutil

测试运行

./ossutil help ls -L ch

个人中心找到AK和SK(AccessKey/SecretKey)

https://usercenter.console.aliyun.com/#/manage/ak

可以在访问控制 RAM中自由创建子账户AK单独只授权OSS


可用地域,根据自己服务器地域创建,下方需要加-e参数

https://help.aliyun.com/document_detail/31837.html

设置ak和sk信息

./ossutil config -e oss.aliyuncs.com -i ak -k sk

测试是否成功

cat /root/.ossutilconfig

输出:

[Credentials]

language=ch

endpoint=oss.aliyuncs.com

accessKeyID=LTAInEOdItVobTOp

accessKeySecret=3arDBTWP1qGqInFuRQmv9B7wyxlSU7

上传文件

ossutil提供了上传/下载/拷贝文件、设置object的acl、设置object的meta、查看object的meta信息等功能。

使用这些命令前请使用config命令配置访问AK。

上传/下载/拷贝文件

强烈建议在使用cp命令前使用ossutil help cp先查看帮助。

可以使用cp命令进行上传/下载/拷贝文件,使用-r选项来拷贝文件夹,对大文件默认使用分片上传并可进行断点续传(开启分片上传的大文件阈值可用--bigfile-threshold选项来设置)。

使用-f选项来默认强制上传,当目标端存在同名文件时,不询问,直接覆盖。

当批量上传/下载/拷贝文件时,如果某个文件出错,ossutil默认会将错误信息记录在report文件,并跳过该文件,继续其他文件的操作(当错误为Bucket不存在、accessKeyID/accessKeySecret错误造成的权限验证非法等错误时,不再继续其他文件拷贝)。更多信息请见ossutil help cp。

ossutil支持特定场景下的增量上传策略:--update和--snapshot-path选项,请参见ossutil help cp。

ossutil从1.0.0.Beta1版本开始,上传文件默认打开crc64。

查看Bucket空间列表

./ossutil ls

输出:

CreationTime                                 Region    StorageClass    BucketName

2016-08-16 11:50:32 +0800 CST       oss-cn-hangzhou        Standard    oss://test

上传单个文件:

./ossutil cp lxzPV.mp4 oss://test

输出:

Succeed: Total num: 1, size: 36,622,683. OK num: 1(upload 1 files). 

6.882928(s) elapsed

上传文件夹:

./ossutil cp -r video oss://test

输出:

Succeed: Total num: 35, size: 464,606. OK num: 35(upload 34 files, 1 directories).

0.896320(s) elapsed

上传/下载/拷贝文件的性能调优

在cp命令中,通过-jobs项和-parallel项控制并发数。-jobs项控制多个文件上传/下载/拷贝时,文件间启动的并发数。-parallel制分片上传/下载/拷贝一个大文件时,每一个大文件启动的并发数。

默认情况下,ossutil会根据文件大小来计算parallel个数(该选项对于小文件不起作用,进行分片上传/下载/拷贝的大文件文件阈值可由—bigfile-threshold选项来控制),当进行批量大文件的上传/下载/拷贝时,实际的并发数为jobs个数乘以parallel个数。该两个选项可由用户调整,当ossutil自行设置的默认并发达不到用户的性能需求时,用户可以自行调整该两个选项来升降性能。

警告

一般ECS虚拟机或者服务器,在网络、内存、CPU等资源不是特别大的情况下,建议将并发数调整到100以下。如果网络、内存、CPU等资源没有占满,可以适当增加并发数。

如果并发数调得太大,由于线程间资源切换及抢夺等,ossutil上传/下载/拷贝性能可能会下降。并发数过大可能会产生EOF错误。所以请根据实际的机器情况调整-jobs和-parallel选项的数值。如果要进行压测,可以一开始将这两项数值调低,慢慢调大寻找最优值。

列举阿里云oss空间里面的所有文件

显示所有文件和上传产生的碎片管理(Multipart)分块文件UploadID

./ossutil ls oss://test -a

结果

LastModifiedTime                   Size(B)  StorageClass   ETAG                                  ObjectName

2018-08-27 03:21:26 +0800 CST     36622683      Standard   16111CADE9D171195743893742255398      oss://test/111.mp4

2018-08-27 03:21:27 +0800 CST     36622683      Standard   16111CADE9D171195743893742255398      oss://test/lxzPV.mp4

Object Number is: 2

UploadID Number is: 0

0.935311(s) elapsed

查看文件描述信息(meta)

./ossutil stat oss://test/lxzPV.mp4

结果

ACL                         : default

Accept-Ranges               : bytes

Content-Length              : 36622683

Content-Md5                 : FhEcrenRcRlXQ4k3QiVTmA==

Content-Type                : video/mp4

Etag                        : 16111CADE9D171195743893742255398

Last-Modified               : 2018-08-27 03:21:27 +0800 CST

Owner                       : 1293873287869883

X-Oss-Hash-Crc64ecma        : 3385307402401995135

X-Oss-Object-Type           : Normal

X-Oss-Storage-Class         : Standard

0.909793(s) elapsed

删除文件

示例

./ossutil rm oss://test[/prefix]

参数

参数名        描述

m    删除以指定prefix开头的所有object下的Multipart Upload任务。

r     删除以指定prefix开头的所有object,可以进行objects文件的批量删除(prefix为空代表bucket空间下的所有objects文件)。

f     删除前不会进行询问提示。

删除空间test里面的视频lxzPV.mp4

./ossutil rm oss://test/lxzPV.mp4

输出:

Succeed: Total 1 objects. Removed 1 objects. 

1.290539(s) elapsed

删除分块文件UploadID

删除test空间下的所有以obj开头命名的UploadID:

./ossutil rm -rfm oss://test/obj

输出:

Succeed: Total 4 uploadIds. Removed 4 uploadIds.

1.922915(s) elapsed

删除空间test中的所有文件:

./ossutil rm -rf oss://test

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,390评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,821评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,632评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,170评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,033评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,098评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,511评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,204评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,479评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,572评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,341评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,893评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,171评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,486评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,676评论 2 335

推荐阅读更多精彩内容