利用wget命令来下载整个网站


wget -m -e robots=off -U "Mozilla/5.0 
(Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) 
Gecko/20091201 Firefox/3.5.6" "http://www.example.com/"

注意 :

  • -e robots=off 让wget忽略网站的 ** robots.txt ** 文件的规定
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 个人学习批处理的初衷来源于实际工作;在某个迭代版本有个BS(安卓手游模拟器)大需求,从而在测试过程中就重复涉及到...
    Luckykailiu阅读 4,797评论 0 11
  • wget是一个从网络上自动下载文件的自由工具。它支持HTTP,HTTPS和FTP协议,可以使用HTTP代理.wge...
    Aieru阅读 893评论 0 1
  • 如果你想知道你的服务器正在做干什么,你就需要了解一些基本的命令,一旦你精通了这些命令,那你就是一个专业的 Linu...
    七寸知架构阅读 10,978评论 1 71
  • everyday:linux wget 功能说明 wget是一个下载文件的工具,它用于命令行下。可以通过它,下载一...
    并肩走天涯阅读 607评论 0 2
  • 小城的夜晚很静谧,除了蝉鸣没有其他任何声响。拉开窗帘,躺在床上看着星空。虽然星星和月亮被薄雾遮住,但没有高大建筑物...
    Herplus王莹阅读 372评论 2 0