2015年5月28日,上午查看网站优化情况时,习惯性的使用了百度seo站长工具的网页抓取异常功能,发现新增显示四大数据,分别是网站异常的抓取超时次数/抓取总次数、DNS错误数/抓取总次数;网址异常的服务器错误与访问被拒绝。同时,网址异常功能的数据以坐标图的方式显示了更加详细的数据。
目前,网页抓取功能新增数据仅显示前1000条存在错误的网址。以下是网页抓取异常功能的网址异常说明:
1.服务器错误:爬虫发起抓取,httpcode返回码是5XX;
2.访问被拒绝:爬虫发起抓取,httpcode返回码是403;
3.找不到页面:爬虫发起抓取,httpcode返回码是404;
4.其他错误:爬虫发起抓取,httpcode返回码是4XX,不包括403和404。
如果你想了解:爬虫发起抓取后,各种httpcode返回码的含义 ,请点击。
猜测,这次变动可能与之前的百度取消referer有关联,进一步完善站长工具功能与用户体验,为之后的用户转入做好承接铺垫。