第307章 模型崩溃(4506) (5 / 11)
《关闭小说畅读模式体验更好》
有人给方豫推了把椅子过来,方豫坐下看了看显示器,不由得皱了皱眉。
“训练十轮后,使用了原始数据的模型2未出现性能下滑,过拟合的现象可以通过正则以及数据清洗来进行过调整。”
“而使用橘子大模型生成图片进行训练的模型1,出现了明显的过拟合,老板,你看一下,十轮之后,生成的图片开始出现趋同性。”
“而使用模型1每一轮生成数据进行训练的模型3……”
杜长庚脸上闪过一丝忧色:“到了第5轮,模型3的过拟合就已经超过了经过十轮训练的模型1,而到了第九轮,整个模型已经濒临崩溃,几乎已经无法输出有意义的数据。”
“这个结果让我们很惊讶,于是用不同模型生成的数据来训练一个新的3B子模型,命名为模型4,最终训练后的性能与模型1非常类似,并没有什么改善。”
“在最初,我们认为是数据质量的问题,橘子大模型图片类数据中可能存在一定的失真,因此又采用文字进行了重复训练。”
“橘子大模型生成的文字数据错误率远比模型2使用的原始数据错误率更低,但最终采用橘子大模型生成的文字数据进行训练的模型1,仍旧出现了性能下降,多轮训练后的过拟合现象比模型2高出近五倍。”
“而在这种情况下,模型3同样在八到九轮之后,也出现了模型崩溃。”
“也就是说,无论AI生成的数据质量高低,只要采用AI生成的数据训练大模型,就会造成大模型性能下降,这……这简直不可思议!”
“简直就像……”
内容未完,下一页继续阅读