Robots文件是当搜索引擎在抓取和访问网站的时候所第一个访问的文件。我们在这个文件上可以设置搜索引擎。设置哪些页面可以被搜索引擎抓取,还有哪些页面不被搜索引擎抓取。
如果是个人网站,涉及到个人隐私的部分可以设置成不被搜索引擎所抓取。这样的话就不会在网站中搜索和检查到。如果是一般性的商业网站,我们会设置成所有的页面都会被抓取。
网站的页面通常情况下会分为静态页面和动态页面。对于搜索引擎,它更倾向于抓取静态页面。然而,我们现在的网站中大部分的页面都是动态的,所以我们为了让搜索引擎更好地抓取网站页面,我们可以将页面设置成伪静态。
最简单的一个方法就是让页面的链接以.html结尾。当然了,我只说了其中的一种,还是有很多伪静态的设置方法,大家可以自行挖掘。这样做的目的就是让我们网站更容易被搜索引擎抓取。
设置网站地图的作用就是让用户和搜索引擎能够更直观更清晰地找到我们网站中所相应的栏目内容和分类。
我不建议大家使用第三种程序员编写工具,因为它涉及到网站的一些代码,不是很专业的人可能不会一下子弄明白的,而前两种工具是我们在后台就可以直接进行生成和设置的。