我们的网站和SEO的目的实际上是吸引蜘蛛，让他们索引我们的网站。我们都知道，搜索引擎索引收录的网站不是靠人，而是靠一个机器人蜘蛛，一个网站能够爬到一个新的高度，意味着蜘蛛索引有很大的深度和广度，这也会给我们带来更多的收录和更均衡的权重。但并不是因为是机器人蜘蛛，我们才无所适从。事实上，机器人蜘蛛有规则可循。只要我们仔细观察，就会发现机器人蜘蛛的规律和偏好。我们需要做的是赢得蜘蛛的爱，让蜘蛛喜欢我们的网站，增加网站的可爬性。那么如何建立一个高爬虫网站呢我总结了以下五点来提高网站的爬行技巧。
1 网站的层次结构便于蜘蛛爬行，首先必须有一个清晰的层次结构。树状结构是一种理想的网站结构，蜘蛛能很好地理解和爬行。主页索引页内容页的形式有助于用户在短的时间内找到所需的信息。而且由于高度相关的内容在同一色谱柱中，聚合度提高，更有利于蜘蛛的爬行整合。同时，树形结构应遵循层次尽可能少的原则。
2 网站导航子导航和面包屑网站导航是网站不可缺少的重要组成部分。使用统一的导航栏不仅有助于用户体验，而且有助于蜘蛛识别。因为蜘蛛可以有效地识别和抓取CSS。因此，对导航栏字体使用字体权重属性是有效的。但不要使用蜘蛛因为追求效果而无法有效爬行的技术。辅助导航还可以使用字体权重属性来指示重要性，而面包屑导航也是必不可少的。我们应该尽量避免使用URL链接，更多地使用锚文本链接。
3 内容页面新内容应该出现在蜘蛛频繁更新的地方。因此，内容页应该按ID或发布时间排序。每个内容页面都应该有效地链接到其他页面。您可以在内容结束后添加上一篇文章和下一篇文章，以连接上下两篇文章。同时，可以添加相关阅读推荐阅读等栏目，对蜘蛛索引更有帮助。
4 标签标签云标签云是提高聚合内容可抓取性的有效途径。标签云使用不同的颜色大小和厚度来区分不同用户关注的内容。应该说，用户体验和主次指标都是有益的。但是我们不应该使用jQuery等技术来追求标签云的效果，这样就失去了标签云的SEO意义。
