Linux系列6 | 下载文件详解

除了文件的基础相关操作以外,我们日常使用Linux还需要什么呢?那肯定就是下载文件和压缩(解压缩)文件了。

上一期中,我们讲解了如何更加优雅的查看文件,但是很多时候我们还不仅限与对文件查看,很多大文件我们都需要对它进行压缩处理,而有些来自互联网的文件我们则需要对它进行解压缩操作,而互联网的文件我们多数是需要进行下载的。

所以今天,我们的主要学习内容就是对文件的下载操作,如何更优雅的从互联网下载文件,如何下载多个文件,断点续传以及后台下载等等

下载文件 - wget

在我们的日常使用中,尤其是进行二次分析的时候,我们常常需要进行大量的数据下载,绝大多数数据库也都会提供ftp的下载接口,但是直接下到windows里然后在传到服务器又非常的麻烦,尤其是超级大的文件,windows的硬盘资源都有些不够用的文件,我们更是需要使用linux直接进行下载,那么我们应该如何去在命令行状态下下载文件呢?

这就要使用到我们的wget命令了。
wget:使用wget从网上下载数据,可以充当功能完备的下载器

下面来讲解一下wget的使用,作为一个下载器,首先得有什么需要下载的东西啦,我在这里随便找了点数据,地址在code中给出,如果想下载自己的数据也可以哦。

cd ~
mkdir dn
cd dn
# address:https://ftp.ncbi.nlm.nih.gov/geo/series/GSE96nnn/GSE96299/suppl/GSE96299_ENCFF292AVT_peaks_hg19.bigBed
# 最简单的下载方法
wget https://ftp.ncbi.nlm.nih.gov/geo/series/GSE96nnn/GSE96299/suppl/GSE96299_ENCFF292AVT_peaks_hg19.bigBed

然后只需要等待


image.png

,一会就下好了。

如果我们使用-O参数可以指定下载内容的名字,一定要注意,是-O不是-o
( -o 参数是保存下载日志文件的文件名 )

# 指定下载内容的名字
wget -O G92.bigBed https://ftp.ncbi.nlm.nih.gov/geo/series/GSE96nnn/GSE96299/suppl/GSE96299_ENCFF292AVT_peaks_hg19.bigBed
# 指定日志文件输出到w1.log
wget -o w1.log -O G92.bigBed https://ftp.ncbi.nlm.nih.gov/geo/series/GSE96nnn/GSE96299/suppl/GSE96299_ENCFF292AVT_peaks_hg19.bigBed

这就是基本的文件下载操作了,是不是很简单呢?

多个文件下载

在讲解了基础的文件下载以后,我们要开始进一步的讲解如何下载多个文件,毕竟我们不可能等着文件一个一个的下载吧,那多浪费时间啊。

进行多个文件下载需要自己建立一个文件,存着每个需要下载的文件的url,然后传给wget,它就会自动给你下载了。

# 建立下载文件的目录
vim dnlist
https://ftp.ncbi.nlm.nih.gov/geo/series/GSE96nnn/GSE96299/suppl/GSE96299_ENCFF575WAS_peaks_hg19.bed.gz
https://ftp.ncbi.nlm.nih.gov/geo/series/GSE96nnn/GSE96299/suppl/GSE96299_ENCFF851UBQ_peaks_GRCh38.bed.gz
https://ftp.ncbi.nlm.nih.gov/geo/series/GSE96nnn/GSE96299/suppl/GSE96299_ENCFF349LKU_replicated_peaks_GRCh38.bed.gz
图片

有了下载的url列表以后,我们就可以进行下载了

# 多个文件下载
 wget -i dnlist -o mulitdn.log
 ls
图片

我们可以看到下载已经成功了,这就是多文件下载的操作。

断点续传

除了多文件下载,我们的wget还支持断点续传功能。至于断点续传是什么意思呢,说白了就是你下了一半出了问题,比如停电了或者突然断网了,然后下载停止。等一切就绪以后,你又想继续下载,这个时候还能接上之前下载的地方继续下,这就是-c参数的断点续传功能。有了它,妈妈再也不怕我断网重新下数据了。

# 使用断点续传
 wget -i dnlist
# 第一个文件下载一半的时候ctrl+C强行终止
image.gif

我们可以看到下载停止了,但是文件只下了一半,这该怎么办呢?不要怕,断点续传来帮你处理。

# 开始断点续传
wget -c -i dnlist
图片

看到加号了吗,wget会自动识别你运行到了哪里,然后从中止的点进行继续下载,直到下载结束。

后台下载

上面讲的内容都是关于直接进行下载的,但是我们很多时候不想直接进行下载,因为大家的时间都很宝贵,不能每天盯着下载过程摸鱼是吧,所以我们就需要这终极神器,-b后台下载操作

其实你使用nohup进行后台下载也可以,不过既然有wget自己提供的,又何必去用nohup呢。下面来介绍一下后台下载功能,以及查看下载进度。

# 使用后台下载功能
wget -b -i dnlist -o w.log
图片

这里会提示这么一句话,然后就又回到了命令行,你就可以做自己的事情了。
如果你想看看下载的怎么样了,你可以使用上节课学过的tail命令来查看日志文件

# tail
tail -f w.log
图片

他就会不断的显示下载的程度了,当你不想看了就ctrl+C停止就可以了。

最后就是如果你不想下了,你该怎么做呢,由于wget已经转向了后台,但是它把进程号给你了,没错,就是上面的pid后面的值,你只需要使用kill命令杀死它即可。

# 终止下载 (超级强行的终止哦)
kill -9 <pid>

上面就是关于下载的所有重点知识了,相信看了今天的内容,你再也不会因为在Linux上下载任何内容而感到苦恼了,因为这一切对你来说都是非常容易的事。

这一节课也比较简单,大家随便练习一下就可以

# 下载下面链接的文件 并命名为Gp.bigbed
https://ftp.ncbi.nlm.nih.gov/geo/series/GSE96nnn/GSE96299/suppl/GSE96299_ENCFF292AVT_peaks_hg19.bigBe
# 一次性在后台下载下面的所有文件
https://ftp.ncbi.nlm.nih.gov/geo/series/GSE96nnn/GSE96299/suppl/GSE96299_ENCFF090AXY_replicated_peaks_hg19.bigBed
https://ftp.ncbi.nlm.nih.gov/geo/series/GSE96nnn/GSE96299/suppl/GSE96299_ENCFF292AVT_peaks_hg19.bigBed

下面一节课的内容也是非常非常通用的操作内容,关于文件的压缩和打包,如果你对gz bz2以及各种tar cvxfzj的参数感到头疼,我相信你看了我下一篇推文就一定了解了,再也不是看到参数就只会用的人了,而是根据自己的需求去修改和变更参数了。

如果你喜欢我的文章,请收藏我的文章并且给我个赞,你的支持就是我更新的最大的动力,关注我会有更多惊喜哦,专注于生物信息学以及数据分析入门和进阶教程,也许我给不了你从10-100,但是我可以给你最好的从0-10!

最后,关注我的公众号,领取更多学习资料吧!!!

打开v搜索,”轻松玩转生信“或者从下面文章进去获取二维码关注哦

二维码传送门

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,386评论 6 479
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,939评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,851评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,953评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,971评论 5 369
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,784评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,126评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,765评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,148评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,479评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,080评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2 343

推荐阅读更多精彩内容