您的位置:首页 > 教程 > linux > wget下载整个网站(整个子目录)或特定目录

wget下载整个网站(整个子目录)或特定目录

2022-06-19 19:21:26 来源:易采站长站 作者:

wget下载整个网站(整个子目录)或特定目录

使用wget命令下载父目录下的整个子目录使用wget命令下载父目录下的整个子目录,命令如下:wget-r--level=0-E--ignore-length-x-k-p-erobots...bpa站长之家-易采站长站-Easck.Com

使用wget命令下载父目录下的整个子目录

使用wget命令下载父目录下的整个子目录,命令如下:bpa站长之家-易采站长站-Easck.Com

wget -r --level=0 -E --ignore-length -x -k -p -erobots=off -np -N http://www.remote.com/remote/presentation/dirbpa站长之家-易采站长站-Easck.Com

将会下载远程服务器的整个文件夹下到你电脑当前文件目录下。bpa站长之家-易采站长站-Easck.Com

如何使用 wget 下载一个目录下的所有文件

wget -r -np -nH -R index.html http://url/including/files/you/want/to/download/bpa站长之家-易采站长站-Easck.Com

各个参数的含义:bpa站长之家-易采站长站-Easck.Com

-r : 遍历所有子目录bpa站长之家-易采站长站-Easck.Com
-np : 不到上一层子目录去bpa站长之家-易采站长站-Easck.Com
-nH : 不要将文件保存到主机名文件夹bpa站长之家-易采站长站-Easck.Com
-R index.html : 不下载 index.html 文件bpa站长之家-易采站长站-Easck.Com

wget下载整个网站或特定目录

需要下载某个目录下面的所有文件。命令如下bpa站长之家-易采站长站-Easck.Com

wget -c -r -np -k -L -p www.xxx.org/pub/path/bpa站长之家-易采站长站-Easck.Com

在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。bpa站长之家-易采站长站-Easck.Com

wget -np -nH -r --span-hosts www.xxx.org/pub/path/bpa站长之家-易采站长站-Easck.Com

-c 断点续传bpa站长之家-易采站长站-Easck.Com
-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件bpa站长之家-易采站长站-Easck.Com
-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录bpa站长之家-易采站长站-Easck.Com
-np 递归下载时不搜索上层目录,如wget -c -r www.xxx.org/pub/path/bpa站长之家-易采站长站-Easck.Com
没有加参数-np,就会同时下载path的上一级目录pub下的其它文件bpa站长之家-易采站长站-Easck.Com
-k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数bpa站长之家-易采站长站-Easck.Com
-L 递归时不进入其它主机,如wget -c -r www.xxx.org/bpa站长之家-易采站长站-Easck.Com
如果网站内有一个这样的链接:bpa站长之家-易采站长站-Easck.Com
www.yyy.org,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.org网站bpa站长之家-易采站长站-Easck.Com
-p 下载网页所需的所有文件,如图片等bpa站长之家-易采站长站-Easck.Com
-A 指定要下http://www.cppcns.com载的文件样式列表,多个样式用逗号分隔bpa站长之家-易采站长站-Easck.Com
-i 后面跟一个文件,文件内指明要下载的URLbpa站长之家-易采站长站-Easck.Com

还有其他的用法,我从网上搜索的,也一并写上来,方便以后自己使用。bpa站长之家-易采站长站-Easck.Com

wget的常见用法bpa站长之家-易采站长站-Easck.Com

wget的使用格式bpa站长之家-易采站长站-Easck.Com

Usage: wget [OPTION]… [URL]…bpa站长之家-易采站长站-Easck.Com

* 用wget做站点镜像:bpa站长之家-易采站长站-Easck.Com
wget -r -p -np -k http://dsec.pku.edu.cn/~usr_name/bpa站长之家-易采站长站-Easck.Com
# 或者bpa站长之家-易采站长站-Easck.Com
wget -m http://www.tldp.org/LDP/abs/html/bpa站长之家-易采站长站-Easck.Com

* 在不稳定的网络上下载一个部分下载的文件,以及在空闲时段下载bpa站长之家-易采站长站-Easck.Com

wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &bpa站长之家-易采站长站-Easck.Com

# 或者从filelist读入要下载的文件列表bpa站长之家-易采站长站-Easck.Com

wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -obpa站长之家-易采站长站-Easck.Com
down.log &bpa站长之家-易采站长站-Easck.Com

上面的代码还可以用来在网络比较空闲的时段进行下载。我的用法是:在mozilla中将不方便当时下载的URL链接拷贝到内存中然后粘贴到文件filelist.txt中,在晚上要出去系统前执行上面代码的第二条。bpa站长之家-易采站长站-Easck.Com

* 使用代理下载bpa站长之家-易采站长站-Easck.Com
wget -Y on -p -k https://sourceforge.net/projects/wvware/bpa站长之家-易采站长站-Easck.Com

代理可以在环境变量或wgetrc文件中设定bpa站长之家-易采站长站-Easck.Com

# 在环境变量中设定代理bpa站长之家-易采站长站-Easck.Com
export PROXY=http://211.90.168.94:8080/bpa站长之家-易采站长站-Easck.Com
# 在~/.wgetrc中设定代理bpa站长之家-易采站长站-Easck.Com
http_proxy = http://proxy.yoyodyne.com:18023/bpa站长之家-易采站长站-Easck.Com
ftp_proxy = http://proxy.yoyodyne.com:18023/bpa站长之家-易采站长站-Easck.Com

wget各种选项分类列表bpa站长之家-易采站长站-Easck.Com

* 启动bpa站长之家-易采站长站-Easck.Com

-V, –version 显示wget的版本后退出bpa站长之家-易采站长站-Easck.Com
-h, –help 打印语法帮助bpa站长之家-易采站长站-Easck.Com
-b, –background 启动后转入后台执行bpa站长之家-易采站长站-Easck.Com
-e, –execute=COMMANDbpa站长之家-易采站长站-Easck.Com
执行`.wgetrc'格式的命令,wgetrc格式参见/etc/wgetrc或~/.wgetrcbpa站长之家-易采站长站-Easck.Com

* 记录和输入文件bpa站长之家-易采站长站-Easck.Com

-o, –output-file=FILE 把记录写到FILE文件中bpa站长之家-易采站长站-Easck.Com
-a, –append-output=FILE 把记录追加到FILE文件中bpa站长之家-易采站长站-Easck.Com
-d, –debug 打印调试输出bpa站长之家-易采站长站-Easck.Com
-q, –quiet 安静模式(没有输出)bpa站长之家-易采站长站-Easck.Com
-v, –verbose 冗长模式(这是缺省设置)bpa站长之家-易采站长站-Easck.Com
-nv, –non-verbose 关掉冗长模式,但不是安静模式bpa站长之家-易采站长站-Easck.Com
-i, –input-file=FILE 下载在FILE文件中出现的URLsbpa站长之家-易采站长站-Easck.Com
-F, –force-html 把输入文件当作HTML格式文件对待bpa站长之家-易采站长站-Easck.Com
-B, –base=URL 将URL作为在-F -i参数指定的文件中出现的相对链接的前缀bpa站长之家-易采站长站-Easck.Com
–sslcertfile=FILE 可选客户端证书bpa站长之家-易采站长站-Easck.Com
–sslcertkey=KEYFILE 可选客户端证书的KEYFILEbpa站长之家-易采站长站-Easck.Com
–egd-file=FILE 指定EGD socket的文件名bpa站长之家-易采站长站-Easck.Com

* 下载bpa站长之家-易采站长站-Easck.Com

–bind-address=ADDRESSbpa站长之家-易采站长站-Easck.Com
指定本地使用地址(主机名或IP,当本地有多个IP或名字时使用)bpa站长之家-易采站长站-Easck.Com
-t, –tries=NUMBER 设定最大尝试链接次数(0 表示无限制).bpa站长之家-易采站长站-Easck.Com
-O –output-document=FILE 把文档写到FILE文件中bpa站长之家-易采站长站-Easck.Com
-nc, –no-clobber 不要覆盖存在的文件或使用.#前缀bpa站长之家-易采站长站-Easck.Com
-c, –continue 接着下载没下载完的文件bpa站长之家-易采站长站-Easck.Com
–progress=TYPE 设定进程条标记bpa站长之家-易采站长站-Easck.Com
-N, –timestamping 不要重新下载文件除非比本地文件新bpa站长之家-易采站长站-Easck.Com
-S, –server-response 打印服务器的回应bpa站长之家-易采站长站-Easck.Com
–spider 不下载任何东西bpa站长之家-易采站长站-Easck.Com
-T, –timeout=SECONDS 设定响应超时的秒数bpa站长之家-易采站长站-Easck.Com
-w, –wait=SECONDS 两次尝试之间间隔SECONDS秒bpa站长之家-易采站长站-Easck.Com
–waitretry=SECONDS 在重新链接之间等待1…SECONDS秒bpa站长之家-易采站长站-Easck.Com
–random-wait 在下载之间等待0…2*WAIT秒bpa站长之家-易采站长站-Easck.Com
-Y, –proxy=on/off 打开或关闭代理bpa站长之家-易采站长站-Easck.Com
-Q, –quota=NUMBER 设置下载的容量限制bpa站长之家-易采站长站-Easck.Com
–limit-rate=RATE 限定下载输率bpa站长之家-易采站长站-Easck.Com

* 目录bpa站长之家-易采站长站-Easck.Com

-nd –no-directories 不创建目录bpa站长之家-易采站长站-Easck.Com
-x, –force-directories 强制创建目录bpa站长之家-易采站长站-Easck.Com
-nH, –no-host-directories 不创建主机目录bpa站长之家-易采站长站-Easck.Com
-P, –directory-prefix=PREFIX 将文件保存到目录 PREFIX/…bpa站长之家-易采站长站-Easck.Com
–cut-dirs=NUMBER 忽略 NUMBER层远程目录bpa站长之家-易采站长站-Easck.Com

* HTTP 选项bpa站长之家-易采站长站-Easck.Com

–http-user=USER 设定HTTP用户名为 USER.bpa站长之家-易采站长站-Easck.Com
–http-passwd=PASS 设定http密码为 PASS.bpa站长之家-易采站长站-Easck.Com
-C, –cache=on/off 允许/不允许服务器端的数据缓存 (一般情况下允许).bpa站长之家-易采站长站-Easck.Com
-E, –html-extension 将所有text/html文档以.html扩展名保存bpa站长之家-易采站长站-Easck.Com
–ignore-length 忽略 `Content-Length'头域bpa站长之家-易采站长站-Easck.Com
–header=STRING 在headers中插入字符串 STRINGbpa站长之家-易采站长站-Easck.Com
–proxy-user=USER 设定代理的用户名为 USERbpa站长之家-易采站长站-Easck.Com
–proxy-passwd=PASS 设定代理的密码为 PASSbpa站长之家-易采站长站-Easck.Com
–referer=URL 在HTTP请求中包含 `Referer: URL'头bpa站长之家-易采站长站-Easck.Com
-s, –save-headers 保存HTTP头到文件bpa站长之家-易采站长站-Easck.Com
-U, –user-agent=AGENT 设定代理的名称为 AGENT而不是 Wget/VERSION.bpa站长之家-易采站长站-Easck.Com
–no-http-keep-alive 关闭 HTTP活动链接 (永远链接).bpa站长之家-易采站长站-Easck.Com
–cookies=off 不使用 cookies.bpa站长之家-易采站长站-Easck.Com
–load-cookies=FILE 在开始会话前从文件 FILE中加载cookiebpa站长之家-易采站长站-Easck.Com
–save-cookies=FILE 在会话结束后将 cookies保存到 FILE文件中bpa站长之家-易采站长站-Easck.Com

* FTP 选项bpa站长之家-易采站长站-Easck.Com

-nr, –dont-remove-listing 不移走 `.listing'文件bpa站长之家-易采站长站-Easck.Com
-g, –glob=on/off 打开或关闭文件名的 globbing机制bpa站长之家-易采站长站-Easck.Com
–passive-ftp 使用被动传输模式 (缺省值).bpa站长之家-易采站长站-Easck.Com
–active-ftp 使用主动传输模式bpa站长之家-易采站长站-Easck.Com
–retr-symlinks 在递归的时候,将链接指向文件(而不http://www.cppcns.com是目录)bpa站长之家-易采站长站-Easck.Com

* 递归下载bpa站长之家-易采站长站-Easck.Com

-r, –recursive 递归下载--慎用!bpa站长之家-易采站长站-Easck.Com
-l, –level=NUMBER 最大递归深度 (inf 或 0 代表无穷).bpa站长之家-易采站长站-Easck.Com
–delete-after 在现在完毕后局部删除文件bpa站长之家-易采站长站-Easck.Com
-k, –convert-links 转换非相对链接为相对链接bpa站长之家-易采站长站-Easck.Com
-K, –backup-converted 在转换文件X之前,将之备份为 X.origbpa站长之家-易采站长站-Easck.Com
-m, –mirror 等价于 -r -N -l inf -nr.bpa站长之家-易采站长站-Easck.Com
-p, –page-requisites 下载显示HTML文件的所有图片bpa站长之家-易采站长站-Easck.Com

* 递归下载中的包含和不包含(accept/reject)bpa站长之家-易采站长站-Easck.Com

-A, –accept=LIST 分号分隔的被接受扩展名的列表bpa站长之家-易采站长站-Easck.Com
-R, –reject=LIST 分号分隔的不被接受的扩展名的列表bpa站长之家-易采站长站-Easck.Com
-D, –domains=LIST 分号分隔的被接受域的列表bpa站长之家-易采站长站-Easck.Com
–exclude-domains=LIST 分号分隔的不被接受的域的列表bpa站长之家-易采站长站-Easck.Com
–follow-ftp 跟踪HTML文档中的FTP链接bpa站长之家-易采站长站-Easck.Com
–follow-tags=LIST 分号分隔的被跟踪的HTML标签的列表bpa站长之家-易采站长站-Easck.Com
-G, –ignore-tags=LIST 分号分隔的被忽略的HTML标签的列表bpa站长之家-易采站长站-Easck.Com
-H, –span-hosts 当递归时转到外部主机bpa站长之家-易采站长站-Easck.Com
-L, –relative 仅仅跟踪相对链接bpa站长之家-易采站长站-Easck.Com
-I, –include-directories=LIST 允许目录的列表bpa站长之家-易采站长站-Easck.Com
-X, –exclude-directories=LIST 不被包含目录的列表bpa站长之家-易采站长站-Easck.Com
-np, –no-parent 不要追溯到父目录bpa站长之家-易采站长站-Easck.Com

到此这篇关于wget下载整个网站(整个子目录)或特定目录的文章就介绍到这了,更多相关wget下载目录中的所有文件内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!bpa站长之家-易采站长站-Easck.Com

如有侵权,请联系QQ:279390809 电话:15144810328

相关文章

  • Linux下用GHOST来做系统备份

    Linux下用GHOST来做系统备份

    在Windows系统下备份我们可以用GHOST工具软件完成,Linux系统不能完全依赖于GHOST工具,一则是GHOST本身是有版权的软件,二是GHOST只支持ext2、ext3文件系统的Linux分区,不支持reiserfs、xfs等
    2019-10-25
  • 给 FreeBSD 12.1 安装 GNOME3 图形界面

    给 FreeBSD 12.1 安装 GNOME3 图形界面

    FreeBSD是一个完全开放的、安全的系统,可以Do it yourself的系统。但是个人还是不喜欢呆板的命令行界面,所有就给 FreeBSD 12.1 安装 GNOME3 图形界面。 开始操作,启动FreeBSD 12.1,以root身份
    2019-10-27
  • Ubuntu Studio一个不错的操作系统

    Ubuntu Studio一个不错的操作系统

    Ubuntu Studio 是一个基于 Ubuntu 而面向音频、视频及图形爱好者的操作系统。本次推出的 Ubuntu Studio 为 7.04 版,目前仅支持 Intel i386 兼容的处理器。 Ubuntu Studio 从大量的开源多媒体创作程序
    2019-10-25
  • 最受欢迎的10款Linux免费游戏

    最受欢迎的10款Linux免费游戏

    图为在Linux下运行的免费游戏America's Army 如果你认为 Linux下没有什么好游戏的话,那就错了!我们来看看Linux下最受欢迎的10款游戏吧,而且这些游戏都是完全免费的! # skyreal update(06-12
    2019-10-25
  • compiz fusion特效使用心得(附3D桌面图)

    compiz fusion特效使用心得(附3D桌面图)

    3D桌面图 LINUX发行版就是好,当大多数人还在沉迷于那些什么风格图标鸟玻璃效果甚至孜孜不倦津津乐道的时候,Linux的高手们已经悄悄为我们开启了一个桌面系统3D的时代。 当我第一次
    2019-10-25
  • Ubuntu 下aMule 的安装配置

    Ubuntu 下aMule 的安装配置

    aMule 是一个类似于 eMule 的多平台 P2P 客户端程序。以下将简略叙述 aMule 在 Ubuntu 中的安装及配置 [High ID] 与 [KAD] 的过程。 安装: sudo apt-get install amule sudo apt-get install amule-utils 如果需要
    2019-10-25
  • JMeter jp@gc - stepping thread group插件

    JMeter jp@gc - stepping thread group插件

    这是一个出单接口压力测试的小例子,了解一下压力测试最最基础的基础。出单接口是用来保险出单的,不需要在UI界面下一步下一步的出单,接口一调数据入库完事~~~。再啰嗦一句接
    2019-10-27
  • Ubuntu 下使用K3B软件刻录光盘(图)

    Ubuntu 下使用K3B软件刻录光盘(图)

    不知大家会不会在Ubuntu下刻录光盘呢?k3b是KDE环境下的一个CD/DVD刻录软件,有非常容易使用的界面,功能比较齐全。用起来感觉就象是win下的Nero一样简单自然,比ubuntu里原来的刻录CD方式
    2019-10-25