淘宝找黑客改成绩(联系24小时接单黑客帮忙)

admin 25天前 19

一月份时,Google新的SEO代言人Gary Illyes在Google官方博客上发了一篇帖子:What Crawl Budget Means for Googlebot,讨论了搜索引擎蜘蛛抓取份额相关问题。对大中型网站来说,这是个颇为重要的SEO问题,有时候会成为网站自然流量的瓶颈。今天的帖子总结一下Gary Illyes帖子里的以及后续跟进的很多博客、论坛帖子的主要内容,以及我自己的一些案例和理解。强调一下,以下这些概念对百度同样适用。什么是搜索引擎蜘蛛抓取份额?顾名思义,抓取份额是搜索引擎蜘蛛花在一个网站上的抓取页面的总的时间上限。对于特定网站,搜索引擎蜘蛛花在这个网站上的总时间是相对固定的,不会无限制地抓取网站所有页面。抓取份额的英文Google用的是crawl budget,直译是爬行预算,我觉得不太能说明是什么意思,所以用抓取份额表达这个概念。抓取份额是由什么决定的呢?这牵扯到抓取需求和抓取速度限制。抓取需求抓取需求,crawl demand,指的是搜索引擎“想”抓取特定网站多少页面。决定抓取需求的主要有两个因素。一是页面权重,网站上有多少页面达到了基本页面权重,搜索引擎就想抓取多少页面。二是索引库里页面是否太久没更新了。说到底还是页面权重,权重高的页面就不会太久不更新。页面权重和网站权重又是息息相关的,提高网站权重,就能使搜索引擎愿意多抓取页面。抓取速度限制搜索引擎蜘蛛不会为了抓取更多页面,把人家网站服务器拖垮,所以对某个网站都会设定一个抓取速度的上限,crawl rate limit,也就是服务器能承受的上限,在这个速度限制内,蜘蛛抓取不会拖慢服务器、影响用户访问。服务器反应速度够快,这个速度限制就上调一点,抓取加快,服务器反应速度下降,速度限制跟着下降,抓取减慢,甚至停止抓取。所以,抓取速度限制是搜索引擎“能”抓取的页面数。
最新回复 (0)
返回
发新帖