当前位置:长沙SEO优化 > SEO技术 > 每日一贴> 利用百度蜘蛛referer找到报错页面入口

利用百度蜘蛛referer找到报错页面入口

导读:

大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?

 

大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错(4xx或者5xx)原因。随后社区版主飞鹰正义也对文章做了补充修正,现推荐给各位同学们。

什么是百度蜘蛛的referer

百度蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求,百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo,会发起这样的请求:

 

 

上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。这部分额外的抓取量,应该不会占用百度分配的抓取配额,属于“买1送1”。

对于站长的意义

如果你发现有一批URL(仅限于img,js,css)报错(4xx或者5xx),但是一直找不到入口在哪,也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。

转载请保留本文链接:http://www.seocss.com/seojishu/meiriyitie/392.html


您可能关注的内容:百度蜘蛛

上一篇:百度ETag使用效果对比&经验分享

下一篇:如何用程序识别百度Baiduspider ua

  • 【干货】阿里店铺必做的6个分析
  • 百度百家上线不久,每天PV至少是200
  • SEO优化三三规则
  • 如何用搜索引擎营销推广你的网站?
  • 企业熊掌号权益播报:绑定站点得流量
  • 利用百度蜘蛛referer找到报错页面
  • 营销软文写作技巧,营销软文写作方法
  • 熊掌号不收录的原因分析
  • 白帽技术是什么
  • VPN常用VPN技术
  • 简单点说,营销型网站就是让网站具有
  • 网站关键词优化,优质的关键词优化
  • 搜索引擎和浏览器的主要盈利模式是
  • 什么是运营?
  • 熊掌号需要关注那些问题,关于熊掌号
  •