百度网页抓取异常功能新增显示四大数据

2015年5月28日08:38:49百度网页抓取异常功能新增显示四大数据已关闭评论 7,356

2015年5月28日,上午查看网站优化情况时,习惯性的使用了百度seo站长工具的网页抓取异常功能,发现新增显示四大数据,分别是网站异常的抓取超时次数/抓取总次数、DNS错误数/抓取总次数;网址异常的服务器错误与访问被拒绝。同时,网址异常功能的数据以坐标图的方式显示了更加详细的数据。

百度抓取异常数据图

目前,网页抓取功能新增数据仅显示前1000条存在错误的网址。以下是网页抓取异常功能的网址异常说明:

百度抓取网址异常数据图

1.服务器错误:爬虫发起抓取,httpcode返回码是5XX;

2.访问被拒绝:爬虫发起抓取,httpcode返回码是403;

3.找不到页面:爬虫发起抓取,httpcode返回码是404;

4.其他错误:爬虫发起抓取,httpcode返回码是4XX,不包括403和404。

如果你想了解:爬虫发起抓取后,各种httpcode返回码的含义 ,请点击。

猜测,这次变动可能与之前的百度取消referer有关联,进一步完善站长工具功能与用户体验,为之后的用户转入做好承接铺垫。