如何能够有效利用robot.txt?

maryar

近来研究日志发现搜索引擎经常在站内的一些无用的链接上索引花费时间，我觉得这既不理于更多的页面被收录，也不利于搜索引擎的索引速度，robot花费太多时间在不需要展现给客户的内容上了（比如一些评论链接，收藏链接，或者无AD的打印链接等等），是不是可以通过robot.txt限制一下？让他仅收录静态页面，或者特定的动态页面？另外，不知道这样会不会有实际的效果呢？(搜索静态页面的内容增多，相当于被访问的几率变大)

本人初学，可能比较幼稚，希望能得到指点！