当前位置:长沙SEO优化 > SEO技术 > 每日一贴> 利用百度蜘蛛referer找到报错页面入口

利用百度蜘蛛referer找到报错页面入口

导读:

大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?

 

大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错(4xx或者5xx)原因。随后社区版主飞鹰正义也对文章做了补充修正,现推荐给各位同学们。

什么是百度蜘蛛的referer

百度蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求,百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo,会发起这样的请求:

 

 

上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。这部分额外的抓取量,应该不会占用百度分配的抓取配额,属于“买1送1”。

对于站长的意义

如果你发现有一批URL(仅限于img,js,css)报错(4xx或者5xx),但是一直找不到入口在哪,也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。

转载请保留本文链接:http://www.seocss.com/seojishu/meiriyitie/392.html


本文标签:百度蜘蛛

上一篇:百度ETag使用效果对比&经验分享

下一篇:如何用程序识别百度Baiduspider ua

  • 百度百家”将引入百度联盟的广告模
  • 百度不收录原因分析——Spider抓取
  • 企业网站策划步骤,网站策划原则,网
  • 站点死链出现的原因及其影响
  • 移动适配使用说明
  • 社交网络即社交网络服务,源自英文SN
  • 网站优化:PC搜索和移动搜索的区别
  • VPN优点及VPN缺点
  • Seo怎么进行线上线下的优化的,都有
  • SEO优化,交换友情链接要注意什么
  • 百度快照是什么,百度快照怎么申请
  • SEO服务_SEO服务价值
  • 百度熊掌号发布服务直连计划 引导
  • 2017年常用的搜索引擎推广方法(二)
  • 为什么要设计404错误页面?404是怎
  •