灰色手法操作seo优化的朋友应该对这个都不会陌生,为了引蜘蛛爬去,网站上更新了大量的质量较低的内容,但这些内容又不想被搜索引擎抓取收录,这个时候,就可以用到这个小技巧了。
在实际操作中,我们可以使用meta标签来阻止搜索引擎对当前页面的抓取,也就是在网页文件的 部分增加一个的 标签。具体的使用方法如下。
如果需要阻止所有搜索引擎收录该网页,可以使用如下代码:
如果只是阻止百度蜘蛛爬取当前网页,允许其他搜索引擎爬取收录,可以使用如下代码:
如果允许搜索引擎爬取收录你的网页,但禁止爬取该页面其他的URL链接,可以使用如下代码:
允许搜索引擎爬取收录当前网页,但禁止爬取收录当前网页上的图片,可以使用如下代码:
注意:哪一个网页需要阻止爬取收录,就在那个网页添加 标签,其他页面是不会受影响的,也就是说,这个标签代码的用法,是针对具体的某个特定网页,而不是整个网站。