当前位置:长沙SEO优化 > SEO技术 > 每日一贴> 利用百度蜘蛛referer找到报错页面入口

利用百度蜘蛛referer找到报错页面入口

导读:

大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?

 

大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错(4xx或者5xx)原因。随后社区版主飞鹰正义也对文章做了补充修正,现推荐给各位同学们。

什么是百度蜘蛛的referer

百度蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求,百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo,会发起这样的请求:

 

 

上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。这部分额外的抓取量,应该不会占用百度分配的抓取配额,属于“买1送1”。

对于站长的意义

如果你发现有一批URL(仅限于img,js,css)报错(4xx或者5xx),但是一直找不到入口在哪,也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。

转载请保留本文链接:http://www.seocss.com/seojishu/meiriyitie/392.html


本文标签:百度蜘蛛

上一篇:百度ETag使用效果对比&经验分享

下一篇:如何用程序识别百度Baiduspider ua

  • ASO优化的目的是什么?
  • 京东店铺优化刷单过程中的操作步骤
  • 百度百家上线不久,每天PV至少是200
  • 【网站优化】我们如何做网站的外部
  • 网络运营方案下载:新营销时代,网络营
  • SEO即搜索引擎优化,利用搜索引擎对
  • 百度ETag使用效果对比&经验分享
  • 互联网营销盛行,SEO提高品牌的产品
  • SEO优化三三规则
  • 网站优化:熊掌号如何让内容快速被收
  • 站点死链出现的原因及其影响
  • 如何做好APP的ASO优化?
  • SEO服务_SEO服务价值
  • 百度不收录原因分析——Spider抓取
  • 苹果什么原因蒸发639亿?一起探索苹
  •