配合robots.txt文件，再写一个文件，文件名
.htaccess
注意文件名，没有名称，只有后缀htaccess，写错了就不管用了。

文件里边这样写：

#block spider
<Limit GET HEAD POST>
order allow,deny
#Sogou block
deny from 220.181.125.71
deny from 220.181.125.68
deny from 220.181.125.69
deny from 220.181.94.235
deny from 220.181.94.233
deny from 220.181.94.236
deny from 220.181.19.84
allow from all
</LIMIT>

写好后，把这个文件也传到网站的根目录。这里边列出来的都是搜狗蜘蛛的IP，它是经常更换的，如果你如现新的，可以随时补充进去。