蜘蛛一路畅通爬取网站的秘密

网站死链接分类

1.未收录型。

网站未收录型死链接指的是出现在网站内部无法打开的页面,在搜索引擎还无法显示,也就是说如果用户只是在百度上进行检索,没有进入网站是不会看到的链接。

2.已收录型。

搜索引擎已经进行收录,当用户进行关键词检索,内容会显示在搜索结果列表(暂时不考虑排名的因素),总之就是索引库已经针对该链接纳入搜索范围。

如何检测网站死链接?重庆seo给你支招

1.手动查找。

当然不管是已收录的死链接还是未收录的死链接都可以进行人工手动的查找,但是如果是大型网站手动查找就显得有点力不从心,浪费时间了。因此我们还有第二种方法来进行检测。

2.利用工具查找。

死链检测工具有很多,不同的SEOer也都有自己习惯使用的工具或者插件,博主经常使用的是直接安装在浏览器上的插件,前提是你必须要有对应的浏览器,下面以360急速浏览器为例:

①打开360急速浏览器,点击右上方的拓展中心,如(图1步骤1所示); ②在搜索框输入“检查网页链接”,如(图1步骤2所示);

③搜索结果出现直接进行插件的安装,

④安装完毕,浏览器右上角就会出现“检查网页链接”插件图标,

未收录站内死链检查以及处理

下面开始进行网站内部的死链接查找:直接在浏览器打开要进行检测的网站地址,点击“检查网页链接”插件小图标,插件就会自动进行查找,针对不同的页面进行逐步的排查,如图2所示:当检测页面出现死链接,死链接区域标红,若无死链接则全部显示绿色。

检测页面出现死链接,死链接区域标红

当网站内部出现死链接应该及时的进行疏通,而不是删除,利用浏览器的审查元素功能,定位死链接位置,找到问题位置修改,在后台进行调整,确保链接能够打开即可。

已收录死链接检查以及处理

通常网站会出现已经被搜索引擎收录的内容,但是因为错误的操作或者是页面已经失去价值,我们进行了删除,没有进行及时的处理,这个时候我们通过搜索引擎的site:域名指令,进行已收录死链接的查找,同时如果收录页面较多,通过修改浏览器的右上角的“搜索设置”将每页显示10条修改成为最多的每页显示50条,在点击“检查网页链接”插件进行查找,同理当出现死链接,区域标红,若能够进行打开则显示绿色,如图3所示:

已收录死链接检查以及处理

当已收录的死链检查出来以后,新建一个txt文档以及xml、html地图形式将死链接进行整理,同时通过ftp将整理好的死链上传到网站根目录,在robots文件禁止搜索引擎爬取死链:写法为:Disallow:http://域名/silian.html。 最后登录百度站长平台通过死链提交通道,按照提示流程填写死链文件地址,进行最后的提交即可。

当然网站死链检测以及处理之后,站长还需要制作一个更具友好性的“404页面”,有效的引导蜘蛛以及用户继续访问网站的其他页面,不要因为一时的受阻就直接放弃整个网站,希望这篇文章能够解决对网站死链检测有疑问的朋友们,更希望在SEO的道路上大家能够一起成长、共同进步!

Comments are closed.