“成功了？”穿着一件黑T恤的埃隆马斯克双臂抱胸，头发凌乱。

        “没有，训练损失值始终是一条线，失败了。”伊利亚虽然面无表情，但眼中却闪过一丝失望。

        “Fxxk！！！橘子在这种学习率下，为什么不会梯度爆炸？”布洛克曼气愤的锤了一下桌子，“他们是怎么做到的？除了注意力机制，他们一定还使用了其他机制！”

        半个月了，他们自从拿到橘子大模型内测权限后第二天，就展开了对橘子大模型的逆向工程。

        这种逆向太难了，毕竟橘子大模型的运行是在柚子科技服务器上的，而不是在openAI的电脑本地。

        但从接口和数据上，其实是能看出一些端倪的。

        而且经过柚子科技的证实，橘子大模型在架构上融入了注意力机制。

        注意力机制并非AI研究的热门方向，准确的说，这个机制是前年才刚刚被蒙特利尔大学的德米特里巴赫达瑙在一篇关于机器翻译的论文中偶然间提到的。

        这个机制解决了序列到序列模型在处理长序列时的信息压缩问题。

        但也仅此而已，并没有掀起太大的水花。

        可随着两周前柚子科技公开证实了其开发的橘子大模型中应用了注意力机制，巴赫达瑙两年前发的这篇论文一下子火了起来。

        内容未完，下一页继续阅读