网站地图也就是sitemap,是一个网站一切链接的集合。许多网站的衔接层次比较深,蜘蛛很难抓取到,网站地图能够便于搜索引擎蜘蛛抓取网站所有页面。网站地图一般存放在根目录下并命名为sitemap,为搜索引擎蜘蛛抓取给与方向,以此提升网站重要内容页面的收录。网站地图就是依据网站的结构内容,生成的导航网页文件。大多数人都知道网站地图有利于提高用户体验,它们为网站访客指明方向,帮助访客找到所需要的页面。
在为网站书写robots的时候,能够直接将sitemap写入robots中。让搜索引擎在读取robots时,能够看到网站是否存在sitemap。
html这种形式,是将网站按类归类,便利用户的索引,一起也便于蜘蛛的爬取和抓取。HTML称为HTML格式的网站地图,这个形式的网站地图就是用户能够在网站上看到列出网站上一切页面链接的页面。对小网站来说,能够列出整个网站的一切页面链接
关于页面多的网站来说,一个网站地图不可能展现网站全部的页面链接,但能够采取两种办法,一种办法是网站地图只列出网站最主要的链接,如一级分类,二级分类,第二种办法是将网站地图分几个文件,主网站地图列出通往次级网站的链接,次级网站地图在列出一部分页面链接。