如何模拟搜索引擎对网页进行抓取诊断

         1. 百度站长平台

         直接访问百度站长平台，在工具的选项中，百度提供了一项抓取诊断的工具，可以来模拟百度PC和百度移动的蜘蛛，对网站进行抓取诊断。

         缺点：该工具仅能抓取已验证所有权的网站页面，竞品或者未验证的网站无法抓取诊断、

         2. Chinaz站长工具

         Chinaz站长工具中有查看页面源代码和模拟机器人抓取两款工具，都可以模拟搜索引擎来抓取网页，并且机器人模拟工具能够直接看到搜索引擎抓取的文本内容。

         缺点：该工具只能使用指定的搜索引擎UA，无法自定义UA。

         3.Google Chrome浏览器

         最新版的Google Chrome浏览器和使用Chrome内核的浏览器都可以模拟搜索引擎抓取，使用方式是：直接打开要模拟访问的页面，右击选择”检查”、在页面头部选择模拟器的尺寸，并且输入UA即可看到模拟设备看到的结果。

         缺点：该工具只能看到页面样式，无法模拟看到源代码结果。