“因此，Y搜并不需要特别多的服务器来存储这些网页具体数据，只是这些链接的索引都被大模型‘学习’了而已。我们只需要储存链接就可以了。”（注1）

        “当用户进行搜索的时候，大模型会自动依据用户的意图或自己的判断，给出其认为符合用户需求的链接。”

        “至于说爬取频率的问题，其实这并没有这么难，根据ilivestats实时数据，互联网目前有13亿网页，其中百分之五十都是空链接或失效链接。”

        “去掉这些，只有六亿多，六亿的链接中，又有接近四个亿网页是‘非活跃网站’。”

        “橘子的算法是依据‘数据标记’进行判断，已经爬取的‘数据标记’并未改变的情况下并不会重复爬取，在‘数据标记’被改变后，橘子大模型才会主动爬取更新的网页，确保自身的数据处于最新，同时再新建一个‘数据标记’。”

        “这种技术的好处在于，我们不需要像千寻和古狗一样，建立那么多那么大的数据中心。”

        “一个占地两万平米的单层数据中心，应该就足够满足全大周用户的搜索需求，投入可能只相当于古狗的百分之一不到，目前Y搜使用的是阿狸云。”

        “当然，如果还要开发其他业务的话，比如目前的千寻和古狗的网盘、百科、文库、地图、邮件等功能，还是需要很大的数据中心来做支撑。”

        “另外这个技术还有一个好处就是非常便于审核和过滤，在审核过滤规则确定的情况下，Y搜可以更为精准的过滤需要审核的信息，避免误伤。”

        “AI时代，未被污染的数据太重要了，但现在大周互联网上的周文数据污染情况过于严重，训练大模型的效果很差。”

        内容未完，下一页继续阅读