他此前做的也是NLP方向，对LSTM和RNN非常熟悉。

        这个时候的LSTM，一般来说都只有几百上千万的参数，能过亿的非常非常少。

        神经网络的层数，大多也只有三四层，他们目前结合了残差网络后做的最深的LSTM也只有10层的深度。

        原本他想的是，就算橘子大模型有他不了解的网络结构，肯定差异也不会太大，对照柚子科技发布的论文，怎么也能看的懂。

        可谁能想到，他拿到手的橘子大模型，足足有60层的深度！

        而且，每一层中，又会含有数层不同的神经网络结构，没有一层是他熟悉的网络结构，其中的机制他到现在都没搞明白。

        60层1500亿的参数啊，他们是怎么做到的？又是怎么用现阶段的算力来支撑的？

        这么深的神经网络，怎么控制梯度爆炸的？怎么控制过拟合的？怎么控制信息的稀释丢失的？

        因此，傅远生所能做的，就是修改了橘子大模型的名字和版权信息。然后不停地给大模型做学习训练，用海量数据将橘子大模型原有的数据覆盖。

        要比数据，尤其是周文数据，千寻可是谁都不怕的。

        内容未完，下一页继续阅读