众所周知，不是所有的网站设计技术都是对搜索引擎友好的，像某些小电影网站博彩娱乐站及某些直播平台站等，可能在技术上都会屏蔽搜索引擎蜘蛛爬行和抓取，而这些技术我们可以称之为蜘蛛陷阱。
SEO推广工作很多网站设计技术，但是对于通过搜索引擎获得流量和排名的正常网站来说，我们应该全力的避免这些蜘蛛陷阱。
1Flash文件设计
基于Flash的视觉效果，部分企业网站首页甚至打开网站就是一个大的Flash文件，这就构成了蜘蛛陷阱。
要知道搜索引擎是无法读取Flash文件中的文字内容和链接的，不能索引出任何文字信息，亦无法判断其相关性，更谈不上收录和排名了。
网站设计应该技术与艺术向结合，像Flash这种文件只是HTML中的一小部分，但却不是最主要的部分，因此网站设计应该站在SEO的角度更合理。
2Session ID
Session ID是最常见的蜘蛛陷阱之一，用户或者搜索引擎每次访问网站时会产生唯一的Session ID参数，这些参数会加在URL当中。
即使相同的页面也会因为Session ID参数产生不同的URL，容易造成页面重复，搜索引擎难以准确判断。
使用Session ID跟踪用户访问对网站优化非常不利，良家佐言建议，跟踪用户访问应该使用cookies而不要生成Session ID，否则对网站而言就是自掘魂墓。
3各种跳转
301重定向302跳转JavaScript跳转Flash跳转及Meta Refresh跳转中，只有301转向是搜索引擎推荐的。
而其他跳转方式都对蜘蛛爬行不利，还可能会被搜索引擎判断为有作弊嫌疑，能不用则不用。
4框架结构
使用框架结构设计的网页是不利于搜索引擎抓取的。
原因在于访问一个使用框架结构的网址所抓取的HTML只包含调用其他HTML文件的代码。
而不包含任何文字信息，所以搜索引擎无法判断网页的内容是什么。
5动态URL
动态URL指的是数据库驱动的网站所生成的带有问号等号及参数的网址。
一般来说，动态URL不利于搜索引擎蜘蛛爬行，应该尽量避免。
6JavaScript链接
基于JavaScript的作用，使部分网站使用JavaScript脚本生产导航系统，这是比较严重的蜘蛛陷阱之一。
技术上搜索引擎是拥有解析JS脚本的能力，但对于权重低的网站可能很难引起重视。
况且JavaScript链接在SEO优化当中也有特殊用途，那就是站长不希望被收录的页面，因为JavaScript基本可以阻止搜索引擎爬行。
7要求登陆
有些网站内容放在需要用户登陆之后才能看到的会员区域，这部分内容搜索引擎将无法看到，因为蜘蛛不能填写用户密码，也不能注册登陆。
8强制使用Cookies
有些网站为了实现某种功能，如获取用户隐私信息，强制用户使用Cookies，用户浏览器如果没有启用Cookies，页面显示不正常。
而搜索引擎蜘蛛就相当于一个禁用了Cookies的浏览器，同样也无法正常访问。
网站优化避免蜘蛛陷阱有哪些首页上尽最大可能不去采用Flash结构
搜索引擎蜘蛛对此类页面的抓取，是不太容易抓取的，这样网站首页在搜索引擎蜘蛛中留下的印象会非常不佳。
避免网站中的URL动态参数
网站中尽量少才有URL动态页面，这种页面的抓取难度要比静态页面的抓取难度高得多，静态页面更加容易搜索引擎的抓取及用户的记忆。
Javascript脚本
这个基本上和Flash是一个原理，虽然可以整体增加网站的美感，但是很遗憾搜索引擎抓取不到，而且如果网站有太多这样的JS还会严重影响网站的加载速度，对网站排名不利，这也属于一种比较严重的蜘蛛陷阱。
导航系统
有很多朋友在设置导航系统的时候喜欢用js去写，这样一来在做SEO会带来很大的麻烦，因为大家都知道JS是蜘蛛无法识别的，并且里面的连接地址也不会去爬行，所以用JS写导航栏，最后的结果就是蜘蛛很少收录页面或不收录页面，给网站优化带来很大的问题。
网站结构复杂
网站结构过于复杂，文件夹层级太多会影响蜘蛛爬行的，当蜘蛛感觉不安全的时候，蜘蛛会不管任何原因，直接退出网站，这样一来对网站收录影响很大，所以网站结构尽量简单最好。
