网站排名优化的前提是网页收集，网页收集需要搜索引擎蜘蛛进行爬网，爬网过程通常是从网页链接的广度和深度进行的。理论上，只要给蜘蛛足够的时间，它们就可以抓取网站的所有链接，但搜索引擎的服务器资源也有限。真正的情况是，只有一小部分网页可以被搜索引擎抓取并包含在索引数据库中。很大一部分网页根本没有被蜘蛛抓取的机会。
由于并不是所有的网页都会被蜘蛛捕获，这势必会引起网站之间的竞争。只有重要的网页才能抓取搜索引擎蜘蛛。什么样的网页在蜘蛛眼中很重要据云汇网技术编辑介绍，以下是影响蜘蛛爬行的决定性因素。
一长时间高权重的网站将首先被蜘蛛抢占。这些网站一直受到搜索引擎的高度信任。无论是主页还是内容页，爬行器都具有优先权，采集速度快，快照更新频率高。
二持续更新的网站被百度蜘蛛抓取后将获得初始信任。如果蜘蛛每次访问网站都有内容更新，就会不断提高蜘蛛对网站的喜爱程度，网页的收集速度也会相应提高。如果网站更新不频繁，蜘蛛会减少访问次数，快照更新速度会减慢。
三反链的数量是广泛的。页面之间的链接构成了蜘蛛爬行的路径，也是蜘蛛访问的入口。蜘蛛没有反向链接就没有机会访问页面。尤其是主页链接，权重，被蜘蛛抓取的概率更大。通过在页面之间添加链接锚文本，可以提高爬行器访问的广度和深度。
我们了解搜索引擎蜘蛛的爬行原理，以便利用SEO优化技术来提高对蜘蛛的友好性。特别是对于新网站，要不断更新网站内容，输出高质量的内容，做好网站内外链的建设，从而迅速获得搜索引擎蜘蛛的信任，进而提高网站的收藏量和排名。
