【官方说法】全面解读BaiduSpider与站点死链

发表评论

A+

所属分类：天涯八卦

站长之家注：死链直接关系到网站的抓取收录和流量转化，因而对站长们而言至关重要。近日，百度站长学院针对BaiduSpider及站点死链的相关问题做出了一系列的解答……

具体内容如下：

问：robots屏蔽对阻止百度抓取死链是否有效

答：当然有效，百度严格遵守robots协议，若发现百度依然抓取，先确认是否为Baiduspider，若确认，可以通过反馈中心进行投诉。

如何正确识别Baiduspider移动ua？

新版移动ua:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;)AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 MobileSafari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC ua:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）

之前通过“+http://www.baidu.com/search/spider.html”进行识别的网站请注意！您需要修改识别方式，新的正确的识别Baiduspider移动ua的方法如下：　　

1. 通过关键词“Android”或者“Mobile”来进行识别，判断为移动访问或者抓取。　　

2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。

另外需要强调的是，对于robots封禁，如果封禁的agent是Baiduspider，会对PC和移动同时生效。即，无论是PC还是移动Baiduspider，都不会对封禁对象进行抓取。之所以要强调这一点，是发现有些代码适配站点（同一个url，PC ua打开的时候是PC页，移动ua打开的时候是移动页），想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的，但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。

如何识别为百度spider？

百度蜘蛛对于站长来说可谓上宾，可是我们曾经遇到站长这样提问：我们如何判断疯狂抓我们网站内容的蜘蛛是不是百度的？其实站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下：

1、在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。

2、在windows平台或者IBM OS/2平台下，您可以使用nslookup ip命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx（IP地址）就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。

3、在mac os平台下，您可以使用dig 命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx（IP地址）就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。

问：已被百度抓取的死链，可以通过robots屏蔽的方式让百度删除吗？

答：不建议你这样做，最快最有效的方法是通过百度站长平台死链提交工具（地址：http://zhanzhang.baidu.com/badlink/）进行处理

问：我已经通过死链工具进行提交了，可是通过日志发现百度还是在抓我们的死链

答：您提交规则后，spider为了验证链接是否真的死掉，需要抓一部分回来验证。

问：百度对死链的抓取，对正常文章抓取的影响会有多大。

答：这个没有统一的标准，如果你没有设置robots也没有向百度提交，死链量还特别巨大的时候，有可能会占用你网站大量抓取配额，导致正常内容无法抓取。如果仅仅是spider为了验证死链规则抓一部分，那么对正常内容不会造成影响。

问：百度对死链的要求是什么？怎么设置死链效果最好？

答：目前百度支持协议死链、内容死链和跳转死链，其中最效果最好的是协议死链。

百度标准死链官方文档：

几乎所有网站都会出现不再需要展现的网页，如何处理这样的网页也成为站长经常谈论的话题。为此，百度站长学院专访了负责死链识别处理的工程师，了解到百度眼中的死链其实包括三种：协议死链、内容死链、跳转死链，每种都有门道哦，同时了解到目前比较流行的“个性化死链”对百度并不友好（后面会有详细介绍）。在此我们向各位站长呼吁，尽可能全面地通过百度站长平台死链提交工具提交协议死链、内容死链和跳转死链，网站在百度搜索引擎的可访性和价值得到提升，以获得更高的用户评价。

第一，协议死链：　　

协议死链是指通过HTTP协议状态码明确表示网页已无阅读价值。HTTP协议状态码很多，但百度协议死链首推404，即未找到文件。请尽量不要用其它状态码来代表死链。

第二，内容死链：　　

内容死链主要是由网站自身变化引起的，网页可以正常打开未发生跳转，但页面内容对爬虫来说没有收录价值，对用户来说也没有参考价值，如帖子被删除、内容已转移、空间被关闭、信息已过期、交易已关闭等。在这样无有价值信息的网页上，网站应该在明显位置直接给予提示文字，如：　　

·页面不存在（网页不存在）　　

·内容已转移　　

·帖子已删除　　

·域名过期或出售　　

·空间被关闭　　

·网站要备案　　

·信息已过期　　

·交易已关闭

在给各位站长看标准内容死链的典型范例之前，先说一个对百度不友好的做法：现在很多网站追求个性化和用户体验，在页面内容失效后并未做协议死链处理，也就是说返回状态码依然是200，仅仅是在页面上做了一个有趣的个性化图片，通过图片告诉用户这个页面没有有价值内容——百度不会认为这是一个内容死链，不提倡大家这样做。

典型范例１：