1.pigz多线程压缩工具
使用conda安装
source /data1/spider/biosoft/miniconda3/bin/activate
conda install -y pigz
多线程压缩
time tar -cvf - project/ | pigz -p 32 > 67_project.tar.gz
# -p 线程数
多线程解压
time pigz -p 8 -d 67_project.tar.gz
2.scp服务器间传文件及断点续传
服务器间传送文件
scp 67_project.tar.gz spider@172.17.14.126:/data1/spider/project/
若传送的文件很大，又偶遇断网或停电，scp可以断点续传
rsync -P --rsh=ssh 67_project.tar.gz 172.17.14.126:/data1/spider/project/67_project.tar.gz
