一、网站出现异常
1、dns异常
当Baiduspider没法分析您网站的IP时,会出現DNS出现异常。可能是您的网站IP地址不正确,或是域名注册商把Baiduspider禁封。请应用WHOIS或是host查看自身网站IP地址是不是恰当且可分析,假如有误或没法分析,请与域名服务商联络,升级您的IP地址。
2、网络连接超时
抓取要求网络连接超时,很有可能原因网络服务器负载,网络不好
3、抓取请求超时
抓取要求联接创建后,下载网页速率太慢,造成 请求超时,很有可能原因网络服务器负载,网络带宽不够
4、联接不正确
无法连接或是联接创建后另一方网络服务器回绝
二、连接出现异常
1、访问被拒绝
爬虫发起抓取,httpcode返回码是403
2、找不着网页页面
爬虫发起抓取,httpcode返回码是404
3、服务器错误
爬虫发起抓取,httpcode返回码是5XX
4、别的不正确
爬虫发起抓取,httpcode返回码是4CX,不包括403和404
阅读文章文中的人还能够阅读文章:
网站为何总流量出现异常?网站总流量出现异常10大原因(1)
什么叫抓取出现异常?网站抓取出现异常的原因
什么叫百度搜索抓取出现异常?抓取出现异常对网站的危害有什么
标签内容: 抓取 网站 发起 爬虫 返回 原因