热门标签
当前位置: article > 正文
【robots.txt】设置网站不允许被搜索引擎抓取的代码_禁止蜘蛛抓取的代码
作者：菜鸟追梦旅行 | 2024-03-21 16:52:52
赞
踩
禁止蜘蛛抓取的代码
【robots.txt】设置网站不允许被搜索引擎抓取的代码
如下：
User-agent: *
Disallow: /
- 1
- 2
User-agent: *
表示所有搜索引擎蜘蛛
Disallow: /
表示禁止访问根目录所有文件
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/282072
推荐阅读
相关标签
