DeepMind简介研究：如何将「大语言模型」 训练到最优？

Transformer的设一切都是距离我们已经有5年的时长，随着假设现有的促使放缓，安全性提升也逐渐出现储蓄经济性递减的情况。如何基础训练出给定安全性的大假设？

已经有，DeepMind做了一项调查结果，一切都是弄清AI语法假设的现有和token错综复杂的关系。这个小组基础训练了超过400个假设，现有从7000万常量到160亿常量多达，token使用量从50亿到5000亿多达。

该小组发现，假设常量大小和token的使用量成正相关，换句话说，当假设现有加倍的时候，token也一定会加倍。

现今或许是大假设时代，自从1750亿常量的GPT-3横空出世时，勾起了学术研究专家的好奇心。近两年的时长，业界先后推出了好几个假设，且一个比一个大，并且在多数任务上给予了感感深刻的安全性。

但这种遥遥领先认知的安全性表现，是以很大的量度和能源耗损为代价，业界也一直在提问这种代价究竟许多人。例如前网易学术研究专家Timnit Gebru就曾撰写论文提问“AI 语法假设究竟毕竟大以及新材料美国公司在降低潜在风险方面做得究竟足够。”她也因为该论文被网易撤换。

大假设的基础训练财政支出一般是提前原先好的，毕竟基础训练一次费用毕竟大。因此，在也就是说财政支出的条件下，准确预估最佳假设超常量渐变得非常这两项。前，也有学者已经断言常量的使用量和自复出语法假设（autoregressive language model）的安全性错综复杂存在幂律关系。

例如先前的学术研究指出，10倍量度财政支出对应减少5.5倍假设现有，以及1.8倍的token使用量。但这项学术研究指出：假设大小和token的使用量一定会成等比率放缓。

此外，学术研究专家还预测，对于基础训练Gopher（2800亿个常量的语法假设），最佳假设一定会小4倍，并且一定会在大4倍的token上同步进行基础训练。这一预测，在包含1.4万亿个token的 Chinchilla中的基础训练得到验证。Chincilla的安全性优于Gopher，由于假设现有减小，侦探小说费用也不够低。

大假设只有在大数据库集上才能展现出最大的司职，同时，DeepMind也注意到，处理大数据库集时能够格外小心，基础训练集和试验集的有效划分，才能最小化语法利用计算机损失以及给定赋能下游任务。

学术研究界必须考虑与此类大型假设相关的伦理和个人隐私情况。正如基本上所提问：从门户com络上收集的大型数据库集包含有毒的语法、偏却说和个人财产信息。

关于大假设如何不够高效的情况，近日，武大大学高祖从假设管理模式侧重也设一切都是了说法《武大高祖：大假设「十问」，四处寻找新范式下的学术研究同方向》，他暗示：

随着大假设越渐变越大，对量度和存储器费用的耗损共存也更加大。已经有有人设一切都是GreenAI的概念，即能够考虑量度能耗的情况来综合设计和基础训练人工智能假设。依托这个情况，我们认为，随着假设渐变大，AI可能会更加能够跟信息系统同步进行转化，从而设一切都是一个不够高效依托大假设的支持经济制度。一方面，我们能够去规划设计不够加高效分布式基础训练的演算法，在这方面两岸三地都有非常多的相关聚焦，包含国际上比较有名的DeepSpeed 以及悟道开发新团队在开发新的一些减缓演算法。

另一个方面，大假设一旦基础训练好去使用时，假设的“大”可能会让侦探小说过程渐变得十分缓慢，因此另外一个依托同方向就是如何高效将假设同步进行尽可能的转换，在减缓侦探小说的同时保持它的效果。这方面的主要技术路线包含剪枝、蒸馏、分析方法等等。同时已经有我们发现，大假设里面具有非常弱的比较大索取的周期性，这对于假设的高效转换和量度有着非常大的设法，这方面能够一些专门演算法的支持。

雷峰门户com版权文章，未获许可证禁止刊载。详情却说刊载须知。

【以上内容转自“雷峰门户com”，不代表本门户com站观点。未获许可证不得刊载】