Linux wget爬虫命令_wget spider

作者：weixin_40725706 | 2024-03-26 10:51:36

踩

wget spider

查看网站URL是否正常最常见的方式莫过于使用wget和curl工具来活动网站的URL信息；

–spider 模拟爬虫的行为去访问网站，但是不会下载网站
–q, --quit 安静的访问，禁止输出，类似于 -o 、dev/null
–o， --output-file=FILE，记录输出到文件中
–T，网站访问超时的时间
–t，网站异常时重试的次数

实时监控的方式：(利用放回值确定网站是否正常)

wget --spider -T  5  -q  -t  2  www.baidu.com  #(这个命令会wget 会后台爬取网站)
1

echo $? => 输出 0 表示上个命令执行正常

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/316649