搜索引擎收录是指程序通过辨别把网站内容进行收录,它在读取你内容的时候,同时会对这些内容进行价值以及其他方面的辨别。搜索引擎收录是搜索引擎收录一个网站页面具体的数量值,收录的数量越多,收录的时间越快,证明此网站对搜索引擎比较友好。Internet上存在的网页数量绝对是个天文数字,每天新增的网页也不计其数,搜索引擎需要首先找到要索引收录的对象。具体到Google而言,虽然对GoogleBot是否存在DeepBot与FreshBot的区别存在争议至于是否叫这么两个名字更是众说纷纭,当然,名字本身并不重要至少到目前为止。主流的看法是,在Google的robots中,的确存在着相当部分专门为真正的索引收录页准备素材的robots在这里我们姑且仍称之为FreshBot吧。它们的任务便是每天不停地扫描Internet,以发现并维护一个庞大的url列表供DeepBot使用,换言之,当其访问读取其一个网页时,目的并不在于索引这个网页,而是找出这个网页中的所有链接。当然这样似乎在效率上存在矛盾,有点不太可信。
不过,我们可以简单地通过以下方式判断:FreshBot在扫描网页时不具备排它性。也即是说,位于Google不同的数据中心的多个robots可能在某个很短的时间周期,比如说一天甚至一小时,访问同一个页面,而DeepBot在索引、缓存页面时则不会出现类似的情况。因此,有时候发现GoogleBot频繁访问网站也不要高兴得太早,也许其根本不是在索引网页而只是在扫描url。