利用wget2多线程递归下载文件

wget2最大特点

支持多线程,控制线程的有两个参数

wget2控制线程的参数

wget2 的两个参数 --chunk-size 和 --max-threads 用于控制多线程下载的行为。

--chunk-size=size 参数用于设置多线程下载时每个线程的块大小。块大小可以使用字节表示,如果没有指定其他字节单位。默认情况下,该参数的值为 0 或关闭状态。

--max-threads=number 参数用于指定同时下载资源的最大并发线程数。默认值为 5,但如果你希望允许更多或更少的线程数,可以使用该选项进行设置。

通过调整 --chunk-size 和 --max-threads 参数,你可以根据实际需求优化多线程下载的性能。较大的块大小和较高的线程数可以加快下载速度,但同时也会增加系统资源的使用。请根据你的网络环境和计算资源进行适当的调整。

wget2的安装

    wget https://gnuwget.gitlab.io/wget2/wget2-latest.tar.gz
    tar xf wget2-latest.tar.gz  # 建议加上tar的参数tar xzvf,否则会解压相当长时间
    cd wget2-*
    ./configure
    make
    make check
    sudo make install

实战下载

wget2 -r -np -nH --max-threads 20  --cut-dirs 2 -R index.html https://path/to/

# 参数说明
"""
-r:递归下载,即下载指定 URL 中的所有链接文件和目录。
-np:不追溯到上一级目录,即不下载上一级目录中的链接文件和目录。
-nH:不创建主机目录,即不在本地创建与主机名对应的目录。
--max-threads 20: 调用20线程
--cut-dirs 2:去除两个目录层级,即在本地下载时去掉 URL 中前两个目录层级。
-R index.html:排除下载名为 "index.html" 的文件。
https://path/to/:指定要下载的 URL。
"""

wget2 github:

https://github.com/rockdaboot/wget2/blob/master/README.md

相关资料:

https://manpages.ubuntu.com/manpages/focal/man1/wget2.1.html

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
禁止转载,如需转载请通过简信或评论联系作者。

推荐阅读更多精彩内容