很多seo都遇到过一个情况，就说网站页面内容也是原创，时效性各个维度都很好，但是一直都没有抓取。这个时候就要考虑是网站结构问题了，因为页面没有被抓取，可能结构出现问题导致蜘蛛抓取不到。下面我们来说说受SEO搜索引擎喜爱的网站结构是怎样的，可以同更改和设置以下内容对网站结构进行修改。
1Robots文件设置，Robots文件又叫：网络爬虫排除标准（Robots Exclusion Protocol）。蜘蛛通过robots.txt识别网站的哪里内容可以抓取，哪里不能抓取。
2网页的层级关系，主要包括物理层级关系和逻辑层级关系。以逻辑层级结构URL结构为例，方便记忆层级简短长度适中的静态URL是被搜索引擎蜘蛛所喜爱的。URL结构（以/为划分标志），一般不宜超过4层，结构太复杂不利于搜索引擎收录，也会影响到用户体验度。
3网站代码的组成：如：flash和一些js等代码，百度搜索引擎是不能识别的，如果页面上有这些代码组成的内容，那么这些内容就不能被抓取到，同时也是对搜索引擎非常的不友好。
4网站外链的布局：页面直接是有权重传递的，页面如果a页面有锚文本链接到b页面，那么久相当于a链接给b链接投票了，那么b链接收录个排名也会提高，同时蜘蛛如果抓取a链接的时候，读取到b链接也会去爬取b链接，这也是引蜘蛛的一个方法。还可以搭建网站地图提交给百度，加快蜘蛛对页面内容的抓取。
