链接可以点击打开页面,但是网站日志中爬虫显示为死链接(如何找到网站的死链接,请查看下载死链接检测工具:死链接检测工具Xenu)。
【详情】:死链的原因是:好友链接页面上线时,程序员自动返回404不添加内容,会出现在网站的每一页下面,所以才会有这么多死链。但是及时处理后还是会有爬虫爬,结果就是死链。我正常点击就可以了。不知道为什么?重要的是我现在能做什么来挽回?
网站死链
【解决方法】:根据我的经验,这个时间仅供参考,毕竟无法考证。(日志里看不到蜘蛛此时抓取死链URL。)我估计中间过程是这样的:(如何处理死链,seo大神分享死链解决方案,教你如何处理防止网站出现死链。)
(1)蜘蛛抓取死链接前链接的URL,缓存在百度的页面库中;
(2)蜘蛛发现死链的URL返回404,继续访问一段时间,但仍返回404(用于判断页面是否为临时404,当连续返回404次达到一定阈值时,不再访问,认定该URL为死链),并将该URL收录到死链库中;
(3)抓取导出死链的页面,判断这些页面上是否还导出了死链,如果还导出,记录抓取时间;
(4)注意,第三步,可能只爬死链前面的页面,不会再爬死链URL(即使死链URL现在已经准备好了,但短时间内无法正常返回状态码/页面信息,所以不会再爬死链URL);
【死链对网站的影响】尽量从流程上严格设计。死链问题虽然小,但由于时间长,范围广,可能会影响到整体网站的性能,具体如下:
(1)带死链接导出的页面评分会受到影响(如果页面很多,因为导出死链接,页面评分等级从高质量>:一般>:如果质量发生变化,对整个网站也是损失);
(2)如果频繁导出死链接,网站的内容质量可能会受到怀疑(尤其是使用页面提交时,搜索引擎分配给网站的资源配额可能会减少。
综合来看,死链的问题要严格控制。想象一下,一个页面导出黑链、垃圾页面、低质量页面就够了。搜索引擎会喜欢导出完全不能被搜索引擎识别的页面吗?
作者:徐州百都网络 | 来源:[db:出处] | 发布于:2022-02-27 11:02:33