差点把我的厌蠢症都治好了？

        重复使用这种数据进行训练，类似的错误会被大模型认为是真实，从而变成“思想钢印”，继续产出错误更多的内容。

        再用这些内容进行训练，就会产生“偏差-方差权衡”，也就是说，越大概率的内容被进一步强化，小概率的内容被不断忽视。

        越是下一代模型，损失的数据反而会越多。

        同时，因为大模型的特性，又会产生“函数近似误差”，大模型会把学的错误的东西也保留下来，一代代的积累，最终变成全部都是错误，从而丧失纠错能力。

        这种情况，确实和近亲繁殖所导致的近交衰退非常类似。

        从这个角度上看，AI大模型其实已经具备了一定的生物性。

        只不过这种生物种群过于单一，造成了近亲繁殖。

        这个问题目前还不算太紧迫，毕竟互联网上可以使用的原始数据非常多，无非就是加大数据组的投入，获取更多的原始数据，增加数据预处理人手和方式就能够解决。

        但从长远来看，不，不用太长远，AI的爆发一定是指数级的。可能两到三年后，互联网上可能超过百分之七十的数据就都是AI所生成的，而人类几乎无法区分这究竟是AI生成的数据还是真实的人工数据。

        那时候，AI大模型不管参数有多庞大，可能都会面临由于训练数据被AI生成数据污染，而造成性能下降或崩溃。

        内容未完，下一页继续阅读