百度的蜘蛛名称是baiduspider，Google的是Google-Googlebot。常见HTTP状态码有(页面抓取成功)、(上次和这次抓取的相同)，(未找到页面)(服务器未响应），通常我们只看百度和谷歌蜘蛛的痕迹。
然后要看三个数据：
平均每次抓取页面数
单页抓取停留
平均每次停留时间
当我们遇到主页快照异常、发布的文章不收录这样的情况，我们我们就要通过网络日志看一下蜘蛛有没有来我们的网站进行抓取。同时也可以通过蜘蛛访问的状态代码来判断我们的网站到底出了什么问题，从而采取相应的补救措施。
可见网站日志的定期查看与分析是十分重要的。所以下面檀哥就讲一讲在哪里下载网站日志，以及用什么日志分析工具比较好。
1.在哪里下载网站日志？
有些模板在网站后台或者FTP中就可以下载.log后缀的网站日志文件，但是dede不可以。用dede模板的同学可以去服务器提供商的后台进行下载，这里以我自己举例。我会首先登陆宝塔页面，左侧列表点击文件选项，点进根目录下的WWW文件夹，里面会有一个WWWlog的文件夹，点进去就可以下载网站日志文件了。
2.用什么日志分析工具比较好？
我用的是光年日志分析工具，这个日志还是相当好用的，有很多方面的统计项目，有助于我们进行网站SEO的诊断，非常的方便。
如果你想要让你的网站一直的发展下去，那么你必须要学会分析网站日志。了解网站每天的状况、发现异常情况是必修课。这样就可以降低网站被降权、被K的概率。
北京中科白癜风专治白癜风北京哪个治疗白癜风医院最好