完整的网站蜘蛛日志分析流程及工具使用!

2019-09-12 14:23| 发布者: | 查看: |

当前位置:主页 > 新闻资讯 > 霸屏资讯 > 完整的网站蜘蛛日志分析流程及工具使用!
今天给大家分享关于蜘蛛日志分析策略,因为做为seo优化人员,必须对于网站蜘蛛日志了如指掌,因为通过观察每天的网站蜘蛛访问记录,可以详细的反应一个网站现阶段的情况,比看网站的一些外部数据还重要,因为网站蜘蛛是能第一时间感受到你网站的变化,那些用工具检测网站数据可能不能第一时间察觉你网站的变化,是降权还是提权,这些都是需要我们通过这个日志来分析的!
 
那么怎么来分析网站蜘蛛爬行日志呢?推荐四种日志分析工具!
 
一、直接用表格分析
 
我们可以把蜘蛛日志从服务器中下载下来,然后用excel打开,进行筛选出有效的信息,这里面有效的信息包含蜘蛛访问时间、蜘蛛抓取频率、蜘蛛ip类型、蜘蛛访问的页面、蜘蛛的数量等这些数据是我们要分析的,我们用excel表格整理好对比数据就可以了!
  
 直接用表格分析网址日志

你要分析哪个搜索引擎的先进行不同的搜索引擎蜘蛛筛选,比如我想分析百度搜索引擎的,那么我们用百度官方给的蜘蛛分析指标来www.baidu.com/search/spider,然后进行初步的筛选,然后再进行页面的划分等!
 
表格分析网站日志
 
因为用这个excel表格筛选比较麻烦,处理起来也是比较繁琐,对于企业站访问都比较小的话还行,但是对于一些网站每天访问数据很大的情况下,用这个方法已经不实用了,可以借助一些市面上流传的蜘蛛日志分析工具来分析!
 
二、光年蜘蛛日志分析工具
 
这款日志分析工具已经好多年了,从刚开始接触seo的时候都说过它,也算是一种粗略的日志分析工具吧,实用效果不是很好,但是可以简单的看出一个网站的大概情况,具体的还是需要自己仔细的去区分!


光年日志分析工具
 
  

三、水淼蜘蛛日志分析工具
 
这个水淼日志工具对于光年日志分析工具,统计的数据更全面一些,数据都是成表报型的,使用起来更直观一些,这个工具可以直接在百度上搜索下载就好了,可以看到这个里面的功能,可以导出我们想要的数据然后逐一的对蜘蛛去分析,然后就能掌握网站的最新一些动向,方便我们调整优化策略!
 
水淼日志分析工具
  
四、蜘蛛日志在线分析工具
 
这个是一个在线的使用工具,传送门:https://www.52069.net/rzfx/ 想用的可以自行访问去使用!这款日志分析工具,功能更全面,我个人比较推荐这个,还把蜘蛛按照功能来区分,下面会给大家来说这个蜘蛛的类型区分,大家可以先看一下这个效果图!
 
 蜘蛛日志在线分析工具

好了关于这些怎么去分析这些蜘蛛日志已经介绍清楚了,大家对照这个日志分析工具去分析就好了,分析什么东西也说的很清楚了,那么刚刚也说了以百度蜘蛛为例,之前有人说蜘蛛分为高权重和低权重的,百度官方也说了没有明确划分,但是可以肯定的是蜘蛛是按照功能性来划分的,不然在庞大的网页中,不按功能划分又怎么合理的抓取网页呢,所以更偏向于蜘蛛按照功能性来抓取网页!
 
比如我们常听说的有渲染蜘蛛、沙盒蜘蛛等等,来针对网页不同情况派出不同类型的蜘蛛去造访,这边也收集了一些关于蜘蛛ip来划分的类型,大家可以自行对照看一看自己网站的蜘蛛类型占比多少!
 
123蜘蛛类型区分:
123.125.71.106抓取内页收录,权重较低,爬取完内页不会很快放出
123.125.71.95抓取内页收录,权重较低,爬取完内页不会很快放出
123.125.71.97 抓取内页收录,权重较低,爬取完内页不会很快放出
123.125.71.117抓取内页收录,权重较低,爬取完内页不会很快放出
 
220蜘蛛类型区分:
220.181.108.95 百度抓取首页的专用ip,如果是220.181.108ip段来访,你网站会天天隔夜快照!
220.181.108.92  98%抓取首页或者其他页面 此ip段爬取过的内容基本24小时内放出
220.181.108.75  90%抓取内页、8%抓取首页 2%其他 此ip段爬取过的内容基本24小时内放出
220.181.108.91 综合,主要抓取首页或者内页,此ip段爬取过的内容基本24小时内放出
220.181.108.*ip段,主要抓取首页占比80%,内页占比30%,被此ip爬过后,一般都会24小时后放出,成功抓取返回是200 返回码304代表未更新,2000、64主要是网站是动态导致返回码是这样的!
 
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77
220.181.108.86
220.181.108.83
代表抓取首页ip段,返回码304代表未更新
 
其他蜘蛛ip代表:
220.181.7.* 123.125.65.*代表百度指数ip造访,准备抓取页面
121.14.89.*代表新站度过考察期
123.125.68 经常来表示要进沙盒
220.181.68.*只增不减代表网站可能进去沙盒或者将要k站
203.208.60.*一般会出现新站比较多,不稳定
210.72.225 用户百度蜘蛛巡逻个站点
125.90.88*广东茂名市电信也属于百度蜘蛛ip,一般出现在新站较多
 
对于网站新产出的链接必定是123开头的蜘蛛到访后,如果内容质量还不错的情况下,会有220蜘蛛再来进行抓取,好的会当天就会放出,建立索引,对于这一点排上来优化公司已经试验过很多次了,可以看到我们网站上的内容都是当天抓取当天放出的!
 
好了关于网站蜘蛛分析就介绍到这里了,希望我的分享可以对于你有帮助!
 
如需转载请注明出处!

热门文章:
随机文章:

本文链接:http://www.paishanglai.com/xwzx/bpzx/264.html

排上来是一款搜索引擎霸屏营销系统,轻松实现百度霸屏推广,关键词排名推广,万词排名推广等,不再为无客户而发愁!网站地图 网站导航

“排上来”是上海万词信息科技公司旗下运营的一个seo优化外包品牌,六年网站关键词优化经验,精通新百度算法研究,优化的服务模式有单词优化、整站优化、精准长尾词霸屏服务。其中独立自主研发的万词排名工具,3-7天可达成千上万个关键词排名百度首页,关键词排名稳定安全,让企业获取搜索排名流量不在难!百度、360、搜狗等全搜索引擎24小时全网霸屏展现,排名不达标全额退款!目前排上来排名系统已经广泛应用于众多行业领域,服务客户数量、市场渠道数量不断增加,累计核心代理商数百家,覆盖全国上百十个省市。 我们的目标:让中国每一个城市都有我们的存在! 我们的愿景:让天下没有难做的生意! 我们的使命:为推广中小企业发展而存在!

联系我们

上海市金沙江西路1555弄35号楼502室

400-670-9770(服务时间:9:00-18:00)

1543559791@qq.com

申请试用 QQ咨询 微信咨询 电话咨询400-670-9770 返回顶部
返回顶部