wget2最大特点
支持多线程,控制线程的有两个参数
wget2控制线程的参数
wget2 的两个参数 --chunk-size 和 --max-threads 用于控制多线程下载的行为。
--chunk-size=size 参数用于设置多线程下载时每个线程的块大小。块大小可以使用字节表示,如果没有指定其他字节单位。默认情况下,该参数的值为 0 或关闭状态。
--max-threads=number 参数用于指定同时下载资源的最大并发线程数。默认值为 5,但如果你希望允许更多或更少的线程数,可以使用该选项进行设置。
通过调整 --chunk-size 和 --max-threads 参数,你可以根据实际需求优化多线程下载的性能。较大的块大小和较高的线程数可以加快下载速度,但同时也会增加系统资源的使用。请根据你的网络环境和计算资源进行适当的调整。
wget2的安装
wget https://gnuwget.gitlab.io/wget2/wget2-latest.tar.gz
tar xf wget2-latest.tar.gz # 建议加上tar的参数tar xzvf,否则会解压相当长时间
cd wget2-*
./configure
make
make check
sudo make install
实战下载
wget2 -r -np -nH --max-threads 20 --cut-dirs 2 -R index.html https://path/to/
# 参数说明
"""
-r:递归下载,即下载指定 URL 中的所有链接文件和目录。
-np:不追溯到上一级目录,即不下载上一级目录中的链接文件和目录。
-nH:不创建主机目录,即不在本地创建与主机名对应的目录。
--max-threads 20: 调用20线程
--cut-dirs 2:去除两个目录层级,即在本地下载时去掉 URL 中前两个目录层级。
-R index.html:排除下载名为 "index.html" 的文件。
https://path/to/:指定要下载的 URL。
"""
wget2 github:
https://github.com/rockdaboot/wget2/blob/master/README.md
相关资料:
https://manpages.ubuntu.com/manpages/focal/man1/wget2.1.html