为什么网站链接可以访问并被蜘蛛判定为死链接?_网站优化

为什么网站链接可以访问并被蜘蛛判定为死链接?

　　网站链接可以点击打开页面，但网站日志中的爬虫显示为死链接(如何找到网站死链，请查看下载死链检测工具:死链检测工具Xenu)。

　　详细信息：死链的原因是：因为当友链页面上线时，程序员没有添加内容，自动返回404，并且会出现在网站的每个页面下面，所以会有这么多死链接。但在及时处理后，会有爬虫爬行的结果是死链，我正常点击没有问题，我不知道为什么?最重要的是，我现在能做些什么来拯救它吗?

　　网站死链

　　【解决方案】:根据我的经验，这个时间仅供参考，毕竟无法验证。(这个时候在日志里看不到蜘蛛抓死链URL。)我猜中间流程是这样的:(如何处理死链，seo神分享死链解决方案，教你如何处理和防止网站死链)

　　(1)蜘蛛抓取死链前链URL，缓存到百度页面库;

　　(2)蜘蛛发现死链URL返回404并连续访问一段时间，仍返回404(用于判断页面是否为临时404，当404次连续返回到一定阈值时，不再访问，确定URL为死链)，将URL纳入死链库;

　　(3)抓取导出死链的页面，判断这些页面是否仍然导出死链。如果仍然导出，记录抓取时间;

　　(4)注意，第三步可能只会抓取死链前链的页面，不会再抓取死链URL(即使死链URL现在已经好了，也不会在短时间内正常返回状态码/页面信息，所以不会再被抓取);

　　【死链对网站的影响】尽量严格设计程序。死链问题虽小，但由于时间长、范围广，可能会影响整个网站的性能:

　　(1)导出死链的页面，评分会受到影响(如果大部分页面因为导出死链而从高质量>一般>低质量转变，也是整个网站的损失);

　　(2)如果死链经常导出，网站的内容质量可能会受到怀疑(尤其是使用页面提交时，搜索引擎分配给网站的资源配额可能会降低。

　　综上所述，死链的问题要严格控制。试想一下，页面导出黑链、垃圾页面、低质量页面就足够页面了。搜索引擎会喜欢导出搜索引擎根本无法识别的页面吗?