问:为什么站长待网站上线后,要经常分析网站服务器中的网站日志,网站是否有蜘蛛爬行、网站是否正常、网站是否降权是否都能从网站日志中获取到答案?
1、网站上线后,用于查看搜索引擎蜘蛛对网站的抓取情况
网站上线后,提交网站地图给各大搜索引擎平台后,发现网站日志中搜索引擎蜘蛛来访量有所增加,并且都返回200,说明网页在蜘蛛来访抓取的时候,返回的是正常的网页,也就是这些网页会被搜索引擎抓取和正常收录。
2、查看网站日志中服务器状态是否正常
在网站日志中每行末尾的字符就是状态码,正常的服务器状态码应该是200或者301,但是如果出现其他的代码,如4xx网站无法打开,5xx服务器问题,针对不同的网页服务器返回码,可以找到相应的错误网页,以排除问题。
3、网站收录异常,分析是否蜘蛛来访次数少
观察网站被搜索引擎蜘蛛爬行的次数,看是否是蜘蛛来访次数少,导致网站收录不好。造成蜘蛛来访次数少的原因可能有:网页无法正常访问打开、网站服务器不稳定、网站外链减少、网站内容质量低、网站作弊违规受到搜索引擎惩罚等。
4、查看是否有搜索引擎惩罚监测蜘蛛爬行
网站再被搜索引擎惩罚前,搜索引擎通常会派某些IP的网站蜘蛛来访网站抓取爬行内容,进一步判断网站是否存在大量作弊、违规操作内容,然后根据作弊、过度优化等行为,进行下一步分析操作,看是否惩罚该网站,如百度的123.125.68.*IP段的蜘蛛爬行,就有可能会受到惩罚。220开头IP的蜘蛛,大部分表示对网页的抓取。
5、网站被K能否恢复,观察日志情况
网站因为违规操作,导致站点被搜索引擎k站,及时处理后,网站能否恢复正常,这个时候我们可以通过分析网站日志文件来获取,网站被k,大多数情况是网站有蜘蛛爬行,但是很少,仅仅是访问网站robots.txt文件和首页。
经过网站整站检查整改后,在次提交网站地图给百度站长工具,待2天后,观察网站服务器日志情况,如果这种情况连续维持1个多月都没有好转,可以考虑放弃该域名,重新做站,如果这期间,搜索引擎蜘蛛明显增加,而且多返回200,这说明网站正在恢复,之前的收录可能会回来。