blog

报告:站点地图减少了爬虫响应时间

<p>SEOMoz帖子记录了有关如何向Google提交Sitemap以及如何影响抓取该网站的速率的统计信息</p><p>结果显示,向Google和Yahoo提交Sitemap减少了Google和Yahoo抓取页面的时间</p><p>重要的是要注意,测试是“在12个不同的帖子上完成的,6个提交了站点地图,6个站点地图未提交</p><p>”结果是,当提交“站点地图”时,平均花费的时间为机器人访问新帖子的时间是谷歌14分钟,雅虎需要245分钟</p><p>“相比之下,当”没有提交Sitemap并且机器人不得不爬到帖子上时,谷歌花了1375分钟,雅虎花了1773分钟</p><p>“是爬行时间的巨大差异</p><p>确实,许多网站都会在几分钟内看到他们的内容被索引,无论是否有站点地图文件</p><p>但在某些情况下,需要更长的时间</p><p>在过去,我不喜欢为非常适合搜索引擎的网站提交站点地图文件</p><p>但去年的某个时候,我成了使用站点地图文件搜索引擎的粉丝</p><p>主要是因为它在网站管理员工具区域为我提供了额外的指标来收集信息</p><p>但此外,在2008年使用它之后,我一直听到网站管理员的积极结果</p><p>最后,

查看所有