在公司许多网站seo优化工作中,有一项日常工作就是对网站死链接(无法访问的链接或者是404错误的页面)进行检测和检查。这是因为在搜索引擎抓取网站链接时,百度蜘蛛会从一个进入网站的分支中形成多个分支,并通过网站内部链接路径进行深入抓取。如果遇到错误的链接则会停止在抓取下去,则会导致搜索索引量的降低
百度Spider模拟真实用户抓取页面的方式。想象一下,如果百度Spider在爬行时遇到多个无法打开的页面,它会高兴吗?同样网站上存在过多的死链接,会影响百度蜘蛛的友好度,降低百度蜘蛛在网站上的爬行频率,影响网站的网站排名,甚至降低网站本身的权重和关键词排名。
什么是网站链接?
一个网站生成(或指向)的所有URL地址都可以称为网站链接、渠道页、目录页、文章列表页、文章内容页、标签标签页、内容聚合页。这里所指的网站链接还包括网站的对外链接,如:其他网站的友好链接、ICP备案信息链接、工信部网站等。
什么是网站上的死链接?
一般来说,无法打开的网站页面(即页面内容不存在)可以称为“网站死链接”。其中一些链接被标识为404页面,而另一些则不是。我们讨论的网站死链接也包括到其他网站的链接(出站链接)。如果无法访问,也可以称为“网络死链接”。
网站的死链接是如何形成的?
在网站的实际运营维护中,修改网站url规则,调整目录名称(或目录别名),删除网站目录或文章,在写页面url时手动滑动页面url,这些操作都可能在网站上形成死链接。另外,要经常更新站点地图,清除站点缓存,更新目录页、列表页、通道页等,否则会出现网站死链接。最后一点是要经常检查外部链接(这里指网站的出站链接);如前所述,网站的出站链接也是网站死链接的范围,也会影响网站的权重。
如何检查网站的死链接?
综上所述,检查网站的死链接似乎是一项非常重要和艰巨的任务。你可以选择手动检查网站的死链接(手工检查),但这是在检查你是不是变老了。有没有一种快速、高效、智能的方法?这个问题的答案是肯定的。下面,我们将列出一些检查网站死链接的方法、工具和方法。
网站的死链接检查工具是什么?
1、浏览器插件:这里特别指出是运行于360浏览器(极速版)插件,在插件中心https://ext.chrome.360.cn 页面右侧的搜索框中输入“死链”开始搜索,在页面中间位置会出现两个和“死链”有关的插件;下图中蓝色方线框选的部分;
2、站长平台(网站)在线工具:
站长之家死链检测工具 http://tool.chinaz.com/Links
爱站网死链检测 https://tools.aizhan.com/bl/
3、独立运行的死链检查工具:
软件Xenu,这是一款为网站死链接检查而生的工具,目前仅可在Windows系统下运行。
Broken Link Detector(死链接检测工具),这款软件是英文界面对站长们的英文水平有所要求;可以帮助用户在电脑上分析链接的软件,而且可以将错误的链接(网站死链接)独立显示,并且可以将地址保存到TXT文件 或者是CSV文件。
4、百度等搜索引擎站长平台:
http://zhanzhang.so.com/
http://zhanzhang.sogou.com/
https://ziyuan.baidu.com/
网站死链如何处理?
1、收集死链
前面所做的网站死链查检工作,都是为这一步做准备,那些网站死链要如何处理呢?通过网站死链检测工具(网页版在线检测工具或软件版)检测后,逐个手动打开并查看是什么原因导致的。
2、向搜索引擎提交死链地址
同时将确定为死链的页面URL地址保存至TXT文件中,提交至各大搜索引擎https://ziyuan.baidu.com/badlink/index (这里以百度站长平台为例),这个操作是为了 告诉搜索引擎,这些URL地址不要再次抓取了,是错误的、不能正常打开的页面。
3、设置404页面告知搜索引擎
网站设置404页面,并将错误页面导向至网站上其他可以打开的页面。这样做可以通过404码告诉蜘蛛该页面是不正常的,同时可以降低网站用户流失率。
4、更新robots.txt协议文件
将网站死链URL地址存储于网站机器人协议robots.txt文件中,并设置为蜘蛛禁止抓取,即屏蔽蜘蛛访问这些URL地址。