作者:赢之乐 时间:2019-07-04
官方的声明是,这个月会调整抓取配额。捕获配额的价值越大,越有利于网站的数据收集,网站的数据收录速度也会越快。
不过,不同类型的网站之间的配额肯定是不一样的。企业网站具有企业网站级别的抓取配额。门户网站拥有门户的爬网配额。
如果您负责一个门户网站,那么这个价值本身可能会非常大,因为门户网站每天都会有很多内容更新,搜索引擎会给予更高的爬网额度。
如果是一个行业平台,则从0到优化网站的收集,提高网站的抓取定额,更加苦逼。我们做了这件事。
在我们接手一个小型的行业平台项目之前,日常更新的内容并不高,有几十个内容。我们接手后,花了六个多月的时间才完善内容交付,逐步增加内容交付量。内容交付的增加可以提高这个访问配额的价值。接近一年,每天增加10万个。
结果就是百度每天收集的网站5万多页,包括在内的网站整体提升到2000万收录。
抓取频率是包含在大量增强中的可能性的一个先决条件。由于只有搜索引擎蜘蛛更频繁地访问,才有可能使更多的内容被包含在搜索引擎中。但是如果你想增加获取频率,你就有能力制作大量的内容。所以,这回到了内容本身的问题。
抓取频率意味着很多问题。例如,我们通常会做一些更改,比如更改标题,需要等待搜索引擎刷新有用的数据。如果抓取频率很高,我们的一些更改很快就能够响应搜索引擎。
如果抓取的频率很低,做一些修改,可能1个月的搜索引擎没有改变。这是一个延迟的事情。因此,抓取的频率不仅有利于增强包含,而且还与其他方面有较大的关联。
目前看来优化抓取定额,只能是更新更新的内容。