当前位置:长沙SEO优化 > SEO技术 > 每日一贴> 利用百度蜘蛛referer找到报错页面入口

利用百度蜘蛛referer找到报错页面入口

导读:

大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?

 

大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错(4xx或者5xx)原因。随后社区版主飞鹰正义也对文章做了补充修正,现推荐给各位同学们。

什么是百度蜘蛛的referer

百度蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求,百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo,会发起这样的请求:

 

 

上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。这部分额外的抓取量,应该不会占用百度分配的抓取配额,属于“买1送1”。

对于站长的意义

如果你发现有一批URL(仅限于img,js,css)报错(4xx或者5xx),但是一直找不到入口在哪,也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。

转载请保留本文链接:http://www.seocss.com/seojishu/meiriyitie/392.html


您可能关注的内容:百度蜘蛛

上一篇:百度ETag使用效果对比&经验分享

下一篇:如何用程序识别百度Baiduspider ua

  • 怎么通过熊掌号审核?熊掌号审核次
  • 网站优化,网站内部链接我们该怎么
  • SEM是什么工作?SEM的具体工作内容
  • 寒秋SEO:免费实用的翻译引擎软件,翻
  • 网站优化404页面的制作,是怎么制作
  • 404页面设计增强用户体验,设计注意
  • 制定SEO目标时会考虑哪些因素,如何
  • 在百度搜索推广中,有一类关键词被称
  • 网站优化:如何做好高质量标题及内容
  • SEO是什么?用来干啥的【深圳seo】
  • 如何在 apache 中开启 gzip 压缩
  • 【官方说法】官网保护工具如何通过
  • 百度快照是什么,百度快照怎么申请
  • 营销软文写作技巧,营销软文写作方法
  • 网站空间及服务器则是提供信息让别
  •