页面不收录主要几个因素:
1网站自身权重原因,导致网站降权无法及时收录;
2页面内容质量度差,重复内容,不相关内容,垃圾内容不可读等。
3网址url抓取阻断问题所导致,字符参数过多,含#号,动态长路径,中文URL等。
4蜘蛛来访频次少,不能实时抓取发现新url地址。
5新网址可信度低,蜘蛛抓取观察期长,短时间不收录。
目前网站可排除问题1,2,3项,重点解决蜘蛛来访频次问题,新网址可信度问题。
建议采用方案:
获取新文章页面url地址 及时向百度站长平台工具处提交url;
及时生成sitemap地图链接,提交到百度站长平台地图处;
分析每周的网站日志,了解蜘蛛的抓取数据进行分析发现问题;
网站CMS管理后台的sitemap配置信息如下:
1开启自动生成新网址开启sitemap功能
2配置实时推送URL(百度站长平台操作)
3配置实时推送URL的token值,如下:
4添加sitemap地图网址
5也可进行手动提交,需要主动人工提交指定URL地址链接。
注意事项:
实时提交和sitemap提交配置后,网站发文就要注意细节,需要保障内容质量度 且一次性提交完成,spider会第一时间识别新链接地址文章。且垃圾低质量文章也能够被识别出来,避免带来降权风险。