由于项目原因，经常需要压缩和解压缩大量的数据。10G规模以上，而默认tar打包和系统默认的压缩工具是单线程的。服务器多核CPU完全利用不起来，瓶颈在CPU的处理上面。于是使用了pigz这个可以利用多核的并行压缩工具。效果显著，如果你也需要频繁压缩大量的数据，可以尝试一下这个软件。
1. 安装
centos & redhat系
yum install pigz
debian & ubuntu系
apt-get install pigz
2. 使用
压缩
其中packages是要压缩的目录，packages.tgz是压缩后的名称。
tar --use-compress-program=pigz -cpvf packages.tgz packages
解压
tar --use-compress-program=pigz -xvf packages.tgz
3. 对比
我的服务器配置是：
CPU：Intel E5-2620 CPU，双CPU，共12核，24线程
内存：32G内存
硬盘：RAID0 双盘 SAS机械盘
压缩包的大小是压缩前33G，压缩后10G
单线程解压用时：5分36秒
命令：
time tar -xvf rpms.tgz
image.png
pigz多线程解压用时： 3分2秒
命令：
time tar --use-compress-program=pigz -xvf rpms.tgz
image.png
单线程压缩用时：20分35秒
命令：
time tar -cpzvf - packages | split -b 3500m -d - rpms.tgz
image.png
pigz多线程压缩用时：2分8秒
命令：
time tar --use-compress-program=pigz -cpvf - packages | split -b 3500m -d - rpms.tgz
image.png
4. 总结
在我的服务器上面速度还是有很明显提升的，尤其是压缩时间，提高了10倍。解压时间也提升了一倍左右。如果需要大量的压缩和解压缩工作，效率还是会提高很多的。
