现在互联网上的数据量之大，可想而知。

        古狗和千寻这种搜索引擎巨头，是随着互联网一步步成长起来的，他们的营收增速比互联网的增长还要快，自然能够不停地加大投入，来增设新的服务器，响应用户需求。

        这也是这个行业为什么没有新入局者的原因。

        这完全是一个积累型的行业，护城河非常深，根本不是一般公司能跨越的。

        想要凭借搜索体验、内容丰富度、搜索精准度等产品力指标推翻古狗或千寻的统治，唯一的办法就是某个巨头或大佬，不计回报的投入数百亿迈元，爬取整个互联网的内容，通过精妙的算法，才能做出一个和千寻或古狗在产品力上能掰手腕的搜索引擎出来。

        这也只是能掰掰手腕，是否能真的超过千寻和古狗，还不好说。

        也正因为如此，基于成本方面的考量，搜索引擎不会为每个网页设定统一的爬取频率。

        爬虫会根据网页的重要性、更新频率、网站的爬取策略来动态调整抓取频率。

        重要的网页，比如各个新闻网站和搜索引擎自己的新闻中心，可能几分钟就会重新爬取一次，而不常更新的页面可能几天、几周甚至几个月才被重新抓取一次。

        但刚刚雷君和周授兹所看到的Y搜，针对于一些普遍认为不应当被频繁抓取的网页，也进行了抓取不说，抓到的结果，还是几分钟之前的。

        内容未完，下一页继续阅读