为什么AdSense爬虫不来了?

c123

我有几个站点,其中一个站点最近半月来AdSense爬虫很少光顾,不管是新增加的页面还是老页面,它一概不抓取,因此在新的页面上永远是显示公益广告, 这些页面内容也很丰富, 不知道为什么它不来?

c123

根据google列出的原因, 仔细检查后猜测可能是我的服务器ISP半月前连续二次更换IP, 由于DNS缓冲效应导致网站不能访问,所以Mediapartners被设定为定时访问直到服务稳定为止.


摘录自https://www.google.com/support/a ... ;topic=0&type=f
为什么会显示公益广告？

网站显示的广告针对性不强或者显示公益广告，造成这一现象的原因可能有多种。以下列出了最常见的一些原因。

我们的系统尚未抓取到您网站的所有网页。
您可能会发现，在将 AdSense 广告代码加入网页上之后，自己却没有看到最具针对性的广告。如果 Google 以前没有搜索过您的网站，则我们的抓取工具可能需要 48 小时或更长时间才能从您的网页收集内容。您在此期间可能会看到公益广告，不过这些广告无法为您带来收入。或者，您只能看到略具针对性的广告。针对性会随时间的推移而增强的。

您的网页可能包含敏感内容，而对于这类内容不会显示相关的付费广告。
我们的系统已设置了特定的过滤器，防止我们的广告客户在可能含有负面内容、不健康内容甚至是攻击性内容的网页上做广告。尽管您的网页内容从本质上讲不应归入这些类别中的任何一种，不过，有时在网页上强调某些敏感话题也会使我们的服务器向此网页投放公益广告。

您的网站在网址中使用了 session ID。
如果您的网页使用了 session ID，则不能在这些网页上投放有针对性的广告。因为每次有不同的用户查看网页，这一 session ID 都会发生变化，导致网址也跟着发生变化，所以此网址不会出现在索引中，而是进入待抓取队列。而等到抓取到此网址时，session 很有可能已经终止。这就造成用户看到的网页始终无法进入索引。若要显示有针对性的广告，应删除 session ID。

您的网站使用 robots.txt 排除文件限制了某些访问。
如果您的网站使用 robots.txt 文件，则 AdSense 抓取工具可能无法抓取到您的网页，我们也就无法根据您网站的内容向您投放最具针对性的广告。如果我们无法抓取某些网页或者无法理解网页内容，则可能会在这些网页上投放公益广告，而这些广告无法为您带来任何收入。

您完全可以做到既允许我们的抓取工具访问您的网页，同时又不会给任何其他抓取工具以许可权。您只需向 robots.txt 文件的开头添加以下两行即可:

User-agent:Mediapartners-Google*
Disallow:

经过这一改动，我们的 Googlebot 就能够抓取您网站的内容，便于我们向您提供最具针对性的 Google 广告。

要获得 Robots 协议的更多信息，请访问 http://www.robotstxt.org。

我们无法抓取您的网页。
有时，因为您的 Web 服务器出了问题或者无法连接到您的网站，我们的抓取工具可能无法访问您的网页。如果我们在试图检索您的 robots.txt 文件时意外地收到服务器发生错误的信息，则在问题解决之前，您的网页将显示不具针对性的广告或公益广告。

如果我们的系统接到您的 Web 服务器发生错误的信息，我们的抓取工具将定期尝试访问此网页，看看它是否已恢复正常。在我们的抓取工具能够访问此网页之前，您的网站将显示不具针对性的广告或公益广告。

您的网站使用了框架。
为了便于我们的系统根据您网站的内容投放针对性更强的广告，请在生成广告代码时选中 "框架式网页" 复选框。这之后，我们的抓取工具将从您的框架中收集内容，便于我们针对您的内容投放广告。此外，如果您将 AdSense 广告代码放入与您网站主要内容相分离的框架中，Google AdSense 抓取工具将无法使广告同您的网页内容相匹配。要针对网页内容投放广告，应将广告代码置入网页内容所在的同一个框架中，这一点至关重要。

AdSense 代码被置于 IFRAME 内。
我们的定位技术尚未对在 IFRAME 内投放广告进行优化。如果您将 AdSense 代码置于 IFRAME 内，您的网站可能会显示针对性较差的广告或公益广告。为了获得更好的效果，请将我们的广告代码直接置入您网页的源代码中。即使您进行了这些改动，也可能不会立即出现针对性较强的广告。我们可能需要 48 小时或更长时间才能重新抓取您的网站，在此之前，您的网页可能会继续显示不具针对性的广告或公益广告。

您的网页需要登录。
目前我们的抓取工具还不能非常方便地访问需要登录的网页。另外，因为对这些类型的网页不容易进行访问与审核，而且我们的 AdSense 专家也很难确认这些需要登录的网页是否符合 Google AdSense 政策，所以我们无法对这些网页提供支持。

广告单元设置为仅展示图片广告。
目前，适合您的网站内容的图片广告资源可能还比较有限。如果您选择了不在广告单元中展示文字广告，我们会在没有可用的相关图片广告时在该广告单元中显示公益广告。要避免显示公益广告，我们建议更新首选项，从而同时展示文字广告和图片广告，或投放替代广告。

您在帐户过滤列表中添加了过多的网址。
如果您在过滤列表中添加过多的网址，我们有时可能无法针对您的内容找到其他广告。因为这个原因，您可能也会在自己的网页上看到针对性不高的广告或公益广告。

您的网页包含的内容不够多。
您网站上包含的信息不够多，我们的抓取工具不能判断您的网页内容。因此，我们可能无法确定能够显示在您的网页上的相关广告。请注意我们的抓取工具无法了解下述内容的含义:

* 音频和视频文件（.wma、.mpeg 和 .mov）
* mp3 文件 (.mp3)
* 图像（.jpeg 和 .bmp）
* Macromedia Flash 动画
* Java 小程序

在这些情况下，我们建议您在自己的网站上提供除上述文件之外的更多内容，以帮助我们的抓取工具收集有关您网站的信息，从而显示相关广告。

您网站的内容主要以一种不受支持的语言编写。
如果放置 AdSense 代码的网页，其内容主要以不支持的语言编写，我们可能会展示公益广告或用另一种语言编写的广告。根据我们的计划政策中的规定，发布商不得在主要内容采用不支持的语言编写的网页上展示广告，因此在我们支持您的语言以前，请从这些网页上删除广告代码。

bullfrog

原帖由 c123 于 2006-4-19 12:36 发表我有几个站点,其中一个站点最近半月来AdSense爬虫很少光顾,不管是新增加的页面还是老页面,它一概不抓取,因此在新的页面上永远是显示公益广告, 这些页面内容也很丰富, 不知道为什么它不来?

adsense的帮助里面有相关内容

检查一下

大大

这个和搜索引擎的爬虫一样，他们觉得有意义就会经常来经常更新，至于不来的原因就多了。

不是你认为好的站点他们就会认为好的。

c123

站点正常,没有版权问题, 帐户也正常