我们都听说百度对于网站抓取蜘蛛的频率是有配额的,蜘蛛抓取的频率是不会超过限制的配额的。有配额主要是百度为了节约资源,如果每个站都丰富的配,那么百度的资源就有些浪费,对于我们服务器来讲抓取频率过高,服务器也是有压力。那么在哪里看我们的配额是多少呢?
首先我们要去百度资源平台–找到抓取频率–点击进去看频次变化–在查看数据下
点击 “当前抓取频次过大如何解决?”或者“当前抓取频次过小如何解决?”。就会进入 下图 。
在上图点击抓取频次上限调整,进入下图页面,在这里我们就可以看到我们蜘蛛抓取的频率配额。
在之前我们配额都是挺高的,动不动就几千。但是在后面百度发展遇到瓶颈,对于内容需要减少。百度对于收录减慢了,那给网站蜘蛛抓取频率的配额,也大大减少了。