怎么不让google和yahoo抓我的网站

xltest0501

怎么不让google和yahoo抓我的网站

春风得意

什么意思啊？没看明白！

xltest0501

不让他的蜘蛛在我网站上来爬

try876

编辑网站的robot.txt

xltest0501

要改成什么样子就不能访问了。<br /><br />yahoo和google

zilongzzn

robot.txt

speed

建立个robots.txt<br />加入：<br /><br />User-agent: * <br />Disallow: /<br /><br />*代表所有都不能爬，把*改成baiduspider 代表给baidu爬。User-agent: * 只能有1个。

martinyin

建立个robots.txt，里面写上：我爱李彦宏。<br />这样，YAHOO和GG就不会抓你了，但是百度会拼命抓你。

comeshanshan

为什么不让呀!

UnforgiveN

<br><br><div class="msgbody"><div class="msgheader">QUOTE:</div><div class="msgborder">原帖由 <i>speed</i> 于 2007-6-12 17:59 发表 <a href="http://club.adsenser.org/redirect.php?goto=findpost&amp;pid=244894&amp;ptid=33932" target="_blank"><img src="http://club.adsenser.org/images/common/back.gif" border="0" onload="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onmouseover="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.style.cursor='hand'; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onclick="if(!this.resized) {return true;} else {window.open('http://club.adsenser.org/images/common/back.gif');}" onmousewheel="return imgzoom(this);" alt="" /></a><br />建立个robots.txt<br />加入：<br /><br />User-agent: * <br />Disallow: /<br /><br />*代表所有都不能爬，把*改成baiduspider 代表给baidu爬。User-agent: * 只能有1个。 </div></div><br>但是那个B度不遵守robot的。。