linux下访问网站工具http和ftp,scp和ssh

w3m(本机安装的是w3m)
lynx(服务器安装的是lynx)
使用方法:
w3m www.baidu.com
lynx www.baidu.com

linux访问ftp地址ftp://ftp.ncbi.nlm.nih.gov/refseq/release/plant/

ftp ftp.ncbi.nlm.nih.gov
anonymous

cd refseq/release/plant/
ls *.faa.gz

默认的ftp的匿名用户是anonymous,密码是空。
ftp进去后,使用help查看能使用的命令。
常用的是lsgetput
get用于下载文件
put用于上传文件
mget *.faa.gz一次下载多个文件
mput *.xls 一次上传多个文件

linux使用脚本访问ftp(脚本实现自动下载和上传文件到ftp服务器)

上传一个或多个文件到指定的ftp服务器

#!/bin/bash
#### purpose for use ftp to upload file to NCBI SRA database
cd /share/home/cbm
ftp -n << !
open ftp-private.ncbi.nlm.nih.gov
user sra 123456
binary
lcd /share/home/cbm/
!dir
cd /Pacbio
prompt
put 20200729.subreads.bam
close
bye
!

#### purpose for use ftp to upload file to NCBI SRA database
ftp -n << !
open ftp-private.ncbi.nlm.nih.gov
user sra 123456
binary
lcd /share/home/cbm/
!dir
cd /Pacbio
prompt
mput *
close
bye
!

下载一个或多个文件

#!/bin/bash
cd /share/home/cbm/
###使用的是匿名账户登录服务器,密码是空,需要按回车键确认
现在有部分ftp服务器的匿名账户是`anonymous`,密码是你的邮箱的地址,如果匿名ftp无法登录时,可以尝试这种方法。
##### 匿名账户下载所有文件
#!/bin/bash
#down all from remote server some path
ftp -n << !
open ftp.ncbi.nlm.nih.gov
user anonymous 
binary
cd /refseq/release/plant/
lcd ~/database/
prompt
mget *
close
bye
!

#匿名账户下载指定类型的文件
#download some file from remote server
ftp -n << !
open ftp.ncbi.nlm.nih.gov
user anonymous 
binary
cd /refseq/release/plant/
lcd ~/database/
prompt
mget *.protein.faa.gz
close
bye
!

##指定账户和用户名登录
###下载一个文件
#### purpose for use ftp to download file from NCBI SRA database
ftp -n << !
open ftp-private.ncbi.nlm.nih.gov
user sra 123456
binary
lcd /share/home/database/
!dir
cd /Pacbio
prompt
ls
get 200729.subreads.bam
close
bye
!

ftp脚本的参数讲解:

  • open 后是IP地址或主机地址
  • user后是用户名和密码
  • lcd 命令是进入本地的指定目录,
  • !dir!ls是查看本地目录的文件
  • binary是设置使用二进制传输,速度会比较快
  • get下载远程一个文件到本地
  • mget 下载多个文件到本地
  • put上传一个文件到ftp服务器
  • mput 上传多个文件到ftp服务器
    anonymous是所有的匿名ftp的账号,密码是空。

scp用于传输文件

  • windows传输到linux,我一般使用 winSCP这个软件下载地址。各大软件商店都有这款软件。
  • linux到linux传输,使用命令scp.参考文章
    例如有如下两个主机:172.28.218.254(本地)172.28.210.9(远程)
    传输文件
    在本地主机(172.28.218.254)运行如下命令:
    说明:chaim是我在远程主机上的用户名
    • 获取远程目录maize
      scp -r chaim@172.28.210.9:/disk/maize/ ./maize/
      /disk/maize/ 这是远端服务器的文件地址 ./maize/这是存储到本地服务器的地址
    • 获取远程文件readme
      scp chaim@172.28.210.9:/home/info/readme ./Readme
      +将本地文件上传到远程
      scp /public/disk.info chaim@172.28.210.9:/home/info/disk.info
      +将本地文件夹上传到远程
      scp -r /public/maize/ chaim@172.28.210.9:/disks/backup/maize/
  • 指定端口2235传输本地bam到远程主机172.28.210.9
    scp -P 2235 sam1.bam chaim@172.28.210.9:/disks/backup/maize/
在经历了scp传输中断,多个大文件需要重新传输的痛苦后,决定使用支持断点续传的rsync

rsync 传输时,在另一端主机上会生成临时的隐藏文件,通过ls -la可以查看到。等待传输完成或中断时会显示出正常的文件名。
上传数据到远程服务器
rsync -P --rsh=ssh readme.md tang@172.28.218.254:~/chaim/

指定端口2222,传输bam文件到远程主机21.28.170.146

rsync -P -e 'ssh -p 2222' sample.bam chaim@21.28.170.146:/share/home/bam

本地linux使用 ssh 用于访问远程主机

ssh -p 2224 root@172.28.170.146 #指定端口和用户名
ssh -l chaim -p 2224 172.28.170.146 ##指定端口和用户名
ssh chaim@172.28.210.9 #指定用户名,使用默认的端口22

lftp的安装 使用手册

wget -c  http://lftp.yar.ru/ftp/lftp-4.9.2.tar.gz
tar -zxvf lftp-4.9.2.tar.gz
还有依赖项得自行安装 gnutls.x86_64 0:3.3.29-8.el7          nettle.x86_64 0:2.7.1-8.el7          trousers.x86_64 0:0.3.14-2.el7
sudo yum install lftp -y

lftp登录ftp站点
lftp -u sra,123456 ftp://ftp-private.ncbi.nlm.nih.gov
lftp下载文件
get 20200729.subreads.bam
lftp断点续传下载文件
reget 20200729.subreads.bam 等价于get -c 20200729.subreads.bam
lftp上传文件
put 20200729.subreads.bam
put -c 20200729.subreads.bam 断点续传等价于reput
lftp解决断点上传
reput 20200729.subreads.bam 会自动解决上面的问题,而且可以实时显示上传速度。
lftp任务后可以加&,让命令在后台执行。退出lftp命令会继续执行直到完成。

ftp断点续传的解决

ftp下载断点续传:reget
ftp上传断点续传: 比较麻烦

ls
restart <#>
put <filename>

先获取已上传的文件的大小,restart后的#修改为已上传的大小,然后重新使用put上传

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 228,030评论 6 531
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 98,310评论 3 415
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 175,951评论 0 373
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 62,796评论 1 309
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 71,566评论 6 407
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 55,055评论 1 322
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 43,142评论 3 440
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 42,303评论 0 288
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 48,799评论 1 333
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 40,683评论 3 354
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 42,899评论 1 369
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 38,409评论 5 358
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 44,135评论 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 34,520评论 0 26
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 35,757评论 1 282
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 51,528评论 3 390
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 47,844评论 2 372

推荐阅读更多精彩内容