可能会对网站的抓取预算产

JoptoXATK33

对网站的抓取不集中，并且花时间抓取（并可能索引）不适合搜索者的 。这生巨大影响。 解决方案调整您的抓取和索引计划。 该解决方案将完全取决于具体情况以及 能够访问的内容。通常，您要做的第一件事是确定 如何发现这些面向私人的 ，尤其是通过您的内部链接结构时。 从主子域的主页开始爬网，查看 是否能够通过标准爬网访问任何不需要的子域。如果是这样，可以肯定地说 可能会找到完全相同的路径。您需要删除指向此内容的所有内部链接，以切断 的访问权限。

下一步是检查应排除的 的索引状态。谷歌是否足以将所有这些内容排除在索引之外，或者是否有一些内容被 电话数据 纳入索引？如果 没有将大量此类内容编入索引，您可以考虑调整 文件以立即阻止抓取。如果没有， 标签、规范和密码保护页面都在桌面上。 案例研究重复的用户生成内容 举一个现实世界的例子，这是我们在客户端站点上诊断问题的实例。该客户端类似于电子商务网站，因为它们的很多内容都是由产品描述页面组成的。然而，这些产品描述页面都是用户生成的内容。 本质上，第三方可以在。



该网站上创建列表。然而，第三方经常在其页面中添加非常简短的描述，导致内容稀疏。经常发生的问题是，这些用户生成的产品描述页面被困在 已爬网 目前未编入索引 报告中。这导致错失了 机会，因为能够产生自然流量的页面被完全排除在索引之外。 在经历上述过程时，我们发现客户的产品描述页面的独特内容非常薄弱。被排除的页面似乎只有一段或更少的独特文本。此外，大部分页面内容是所有这些页面类型中都存在的模板文本。由于页面上几乎没有独特的内容，因此模板化内容可能会导致 将这些页。