雅虎的机器人几乎把网站拖跨

牛冲

雅虎的机器人几乎把网站拖跨，几乎是整天24小时都在抓取，但抓取的都是老旧内容，同一贴子几乎被刷到了几十万次。

请教一下大家，如何限制雅虎的机器人数量？

虽然整天都是抓取，但是雅虎搜索已是日落西山，来路流量一天只有个位数。

老萨

你的站很厉害么？

ggads

几十万次就不是蜘蛛了，可能是伪装成蜘蛛的攻击。

bleach

把它的IP封了.