发布时间：2022-3-11 分类： 行业资讯
在这几年的SEO诊断中，我发现不少于20%的网站存在严重的爬行问题，但奇怪的是，大多数人从未关注过。对这个问题进行过深入研究和分享的人都没有发现。在今天的文章中，我们将研究这个问题。
有什么问题？
连接超时，或抓取超时。如果这个问题出现在你的网站上，到目前为止还没有得到妥善处理，请转载这篇文章。
很多人说，不就是几十次超时吗？有什么大不了的？如果你这么想，那你真的活该网站不好。正常的网站是什么样的？让我们举个例子：
这是一个权重为4的站点。即使已经爬了10万多次，还是没有一次爬错！如果你每天的抓取错误超过10次(每十天半个月出现一次错误，或者连续几天出现一次错误)，就要认真处理这个问题，因为存在的问题长期制约着网站发展的上限，甚至这个问题导致网站权限降低也就不足为奇了。
为什么会出错？
有人说，不用担心，这是BUG，因为我在网站LOG里没有发现这个问题。在之前百度站长的VIp群里，有人这样解释过。但我想说的是：百度不会爬网站。你能在你的网站日志中统计这样的错误吗？因此，上述解释完全不合理。
那么，为什么会出现这样的错误呢？
一、DNS问题，无论是蜘蛛还是用户访问网站，首先需要正确解析域名的DNS，但是解析是解析出来的。你能确定DNS真的很稳定吗？许多站点错误是由不稳定的DNS引起的。尤其是那些做域名注册和“抢注”的平台，这类平台更容易出现不稳定的DNS解析，尤其是在抢注高峰期。对于特定品牌，此处将不命名。如果您的域名在这些平台上，贺贵江强烈建议您将其转让出去。
b、页面太大。有的网站已经达到了45678万亿页面，甚至很少有网站看到过10MB大小的页面。这类页面更容易出现链接超时。通常情况下，不建议网站页面大小超过3MB，建议网站服务器启用GZIp压缩。
c、带宽不足，这是很常见的情况。由于带宽不足，许多站点都有链接超时。我们知道1M的峰值下载带宽是128KB。如果通过1M访问网站，页面大小为256KB。如果两个人同时打开页面，需要4秒钟才能完成下载。如果带宽为2MB，页面大小为1024KB，一个人打开网站需要8秒，但是如果10个人同时打开呢？所以这里的带宽，我们一定要做足。站长或企业要观察网站的平均带宽和峰值带宽。如果有频繁的“峰值带宽”访问，带宽必须升级。
d、第一个字节时间，可能很多同学听不到，指的是从发送请求到WEB服务器的时间，以及WEB服务器处理请求并生成响应的时间。有一些网站，第一个字节的时间其实可以达到5MS，在这种情况下，网站还能正常吗？
1.第一个字节时间，要注意：避免网站与其他网站共用同一个服务器，其他网站会占用自己网站服务器的处理时间。
2.CDN减少了内容和访问者之间的“距离”。静态内容分发到CDN，CDN内容自动复制到各个位置，在地理上更接近用户，从而减少TTFB时间。请注意，已为网站访问速度较慢的页面或栏设置了“缓存时间”。
3.避免在网站上使用虚拟主机系统。如果网站在一段时间内没有产生流量，系统会延迟或暂停虚拟服务器。当新访客进入时，将再次执行服务器备份(10s或更长时间)；
4.后端优化软件性能降低了服务器对浏览器产生的响应时间，如操作码缓存、服务器端缓存、本地缓存、W3总缓存等。
最后，让我们总结一下：
首先是为网站找到一个可靠的DNS服务提供商。我们建议阿里云，其次是稳定的CDN服务商，比如阿里， 百度，智能云，腾讯最后是网站服务器。尽量不要选择使用虚拟主机，尽量避免多个站点使用同一台服务器。
作者：贺贵江
来源：卢松松博客，欢迎分享
