这一点很明白,没有蜘蛛来抓取那就谈不上页面的收录吧。那么怎样才能引起蜘蛛的兴趣提升抓取呢在网站优化页面生成之后,接下来面向搜索引擎的就是提交网站地图sitemap文件。
百度有三种提交方式自动推送和主动推送功能和手动,来提交自己页面的url地址给百度,不了解的可以自行脑补下。然后观察自己页面的抓取有哪些搜索引擎来抓取。每天的抓取频次分别的状态码情况。
另外还要二外关注百度站长工具中的异常抓取以及抓取频次,建议每一天最好观察观察。比如抓取频次的升降虽并不能直接影响你的流量变化。毕竟抓取1000次,想收录5000的页面是不可能的是吧。
在提升抓取上,针对页面的访问速度以及合理的站内链接交叉推荐,让更新的更相关或者更具实效性的文章在自身站内更多频次的出现对提升抓取(爬虫会过滤以抓取的页面)以及收录是有很大帮助的。