在网站SEO优化工作中,网站死链检查是一项常规的工作,这项工作需要引起重视。百度爬虫在抓取网站链接时,会从进入网站的一个分支然后继续爬行其它分支,通过网站内部的链路进行深度抓取。今天我们讲下网站死链检查工具及处理方法。
百度蜘蛛通过模拟真实用户来抓取页面,如果baiduspider在抓取时遇到了有多个分支有无法打开的页面,也就是网站的死链太多,这会影响网站评分,同时降低百度蜘蛛抓取网站的频率,甚至降低网站本身的权重和关键词排名。
一、什么是网站链接
所有由网站产生(或指向)的URL都可以称为网站的链接,包括频道页、分类页、文章列表页、文章内容页、标签页和内容聚合页。这里所指的网站链接还包括网站外链,如指向其他网站的友情链接、指向工业和信息化部网站的ICP备案信息链接等。
二、什么是网站死链
广义上讲,无法打开的网站页面(即页面内容不存在)可以被称为网站死链。其中一些链接被识别为404页面,而另一些则没有。我们谈论的网站死链还包括与其他网站的链接(出站链接)。如果不能被访问,也可以被称为死链接。
三、网站死链的形成
在网站的实际运营和维护中,修改网站URL规则、调整目录(或目录别名)名称、删除网站目录或文章、自定义页面URL等都可能形成网站死链。另外,要经常更新网站地图,清除网站缓存,更新目录页、列表页、频道页等,否则容易会出现网站死链。
四、如何检查网站死链
根据上面提到的各方面情况,网站死链检查似乎是一项非常重要的工作。你可以选择人工(手动)检查网站的死链,但明显工作量是巨大的,那么有没有一种快速、高效、智能的方法呢?这个问题的答案是肯定的。下面我们将列出一些检查网站死链的方法、工具和手段。
五、网站死链检查工具
1、浏览器插件:
这里特别指出是运行于360极速浏览器插件,在插件中心 ext.chrome.360.cn 页面右侧的搜索框中输入“死链”开始搜索,在页面中间位置会出现两个和死链有关的插件。
2、站长平台工具:
站长死链检测 ntool.chinaz.com/tools/links
爱站死链检测 tools.aizhan.com/bl/
3、独立运行的死链检查工具:
Xemu网站死链检测工具,这款软件可以轻松的检查指定网站或站内某个目录中的所有死链接,支持图片、文件链接的检测,它不仅可以为我们列出网站的正常链接及死链接,而且还可以为我们分析转向链接,支持多线程操作,重点是可以打开这条死链存在的网页地址,非常方便快捷。
Broken Link Detector(死链接检测工具),这款软件是英文界面对站长们的英文水平有所要求;可以帮助用户在电脑上分析链接的软件,而且可以将错误的链接(网站死链接)独立显示,并且可以将地址保存到TXT文件 或者是CSV文件。
4、搜索引擎站长平台:
zhanzhang.so.com
zhanzhang.sogou.com
ziyuan.baidu.com
六、网站死链如何处理
前面所说的网站死链检查工作,都是为这一步做准备,那些网站死链要如何处理呢?通过网站死链检测工具分析出来后,逐个手动打开并查看是什么原因导致的。同时将确定为死链的页面URL地址保存至TXT文件中,提交至各大搜索引擎站长平台,这个操作是为了告诉搜索引擎,这些URL地址不要再次抓取了,是错误的、不能正常打开的页面。
另外网站设置404页面,并将错误页面导向网站上其他可以打开的页面。这样做可以通过404码告诉蜘蛛该页面是不正常的,同时可以降低网站用户流失率。然后将网站死链URL地址存储于网站机器人协议robots.txt文件中,并设置为蜘蛛禁止抓取,即屏蔽蜘蛛访问这些URL地址。
小结
网站死链对SEO优化、网站权重和排名起着非常重要的作用。因此,检查出死链后并不意味着工作的结束,而是一定要对网站死链进行处理,否则不仅前面的工作会付之东流,而且数量不断积累后会降底网站的信任度。