的预算。但这并不适用于所有页面。错误软件谷歌的博客列出了对预算分配产生负面影响的页面其中就有软错误页面即。当服务器应该对不存在的页面使用或进行响应但却使用响应代码进行响应时就会出现。在这种情况下爬虫会像往常一样对待页面对其进行扫描并花费其爬行预算而不是爬行真正重要的页面。错误会浪费您的抓取预算。大量的页面肯定不会带来任何积极的效果反而会造成危害所以最好修复它们。
特殊服务和工具将帮助您查找页面。如何查找损坏的链接对于非常小的网站您可以手动执行滚动浏览所有页面并查看网站上的所有链接或者查看请求的结果中的链接服务可能会显示不准确的结果因此 华人澳洲数据 请结合使用多种工具来查找尽可能多的错误页面。谷歌搜索控制台在页面部分中显示带有错误的页面。为什么这些页面没有建立索引表列出了每种问题的原因和页面数量。如果。
单击原因您可以看到页面列表。未在中编入索引的网页中的索引问题列表控制台列出了爬虫上次爬行网站时的链接因此将无法实时跟踪链接。您可以使用跟踪代码管理器轻松跟踪错误。如何做到这一点在手册中。网站管理员该服务在链接部分中显示损坏的链接。它将显示基于机器人上次抓取网站的内部损坏链接的示例。 |
