参考：http://apple.stackexchange.com/questions/100570/getting-files-all-at-once-from-a-web-page-using-curl
一份份的下载文件有点麻烦，所以
wget -r -np docs.linuxtone.org/ebooks/SVN/
wget -q -O >(cat) http://baidu.com wget命令会把下载后的文件保存到文件中去, 但是我们可以用上面的命令不让它保存到文件中去, 而是显示出来. wget的”-O”选项后本来应该是一个文件名的参数, 但是我们现在用>(cat)代替, 表示wget下载下来的内容放到一个临时文件中, 然后把这个临时文件名再传给>()里面的cat命令.
可以看下：
http://stackoverflow.com/questions/19416662/how-to-download-a-file-into-a-directory-using-curl-or-wget
http://unix.stackexchange.com/questions/91798/download-pdf-files-from-using-curl
http://www.thegeekstuff.com/2012/07/wget-curl/
https://groups.google.com/forum/#!topic/weeklybuilds/hPO1w5TlNY4
引述自：http://mecland.blog.edu.cn/2010/488651.html
wget是一个从网络上自动下载文件的自由工具。它支持HTTP，HTTPS和FTP协议，可以使用HTTP代理。 所谓的自动下载是指，wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统，启动一个wget下载任务，然后退出系统，wget将在后台执行直到任务完成，相对于其它大部分浏览器在下载大量数据时需要用户一直的参与，这省去了极大的麻烦。 wget 可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本，完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的时候，wget 遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时，将链接转换成指向本地文件，以方便离线浏览。 wget 非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败，wget会不断的尝试，直到整个文件下载完毕。如果是服务 器打断下载过程，它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。 wget的常见用法 wget的使用格式 Usage: wget [OPTION]… [URL]… * 用wget做站点镜像: wget -r -p -np -k http://dsec.pku.edu.cn/~usr_name/ # 或者 wget -m http://dsec.pku.edu.cn/~usr_name/ * 在不稳定的网络上下载一个部分下载的文件，以及在空闲时段下载 wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log & # 或者从filelist读入要下载的文件列表 wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -o down.log & 上面的代码还可以用来在网络比较空闲的时段进行下载。我的用法是:在mozilla中将不方便当时下载的URL链接拷贝到内存中然后粘贴到文件filelist.txt中，在晚上要出去系统前执行上面代码的第二条。 * 使用代理下载 wget -Y on -p -k https://sourceforge.net/projects/wvware/ 代理可以在环境变量或wgetrc文件中设定 # 在环境变量中设定代理 export PROXY=http://211.90.168.94:8080/ # 在~/.wgetrc中设定代理 http_proxy = http://proxy.yoyodyne.com:18023/ ftp_proxy = http://proxy.yoyodyne.com:18023/ wget各种选项分类列表 * 启动 -V, –version 显示wget的版本后退出 -h, –help 打印语法帮助 -b, –background 启动后转入后台执行 -e, –execute=COMMAND 执行`.wgetrc’格式的命令，wgetrc格式参见/etc/wgetrc或~/.wgetrc * 记录和输入文件 -o, –output-file=FILE 把记录写到FILE文件中 -a, –append-output=FILE 把记录追加到FILE文件中 -d, –debug 打印调试输出 -q, –qui
