Ilya Sutskever 认为大模型规模已经达到平台期
自 ChatGPT 风靡全球的后,从中受益的科技公司相信大模型越大越好。但在遭遇训练瓶颈和困难之后,OpenAI 联合创始人、Safe Superintelligence (SSI,安全超级智能)联合创始人伊利亚·苏茨克维(Ilya Sutskever)表示,扩大预训练的结果已经达到了平台期。“2010 年代是规模扩大的时代,现在人们又回到了奇迹和发现的时代。每个人都在寻找下一个东西。”现在对正确的事情“扩大规模”比以往任何时候都更重要。他拒绝透露其团队在解决这个问题时的更多细节,只表示 SSI 正在研究一种扩大预训练规模的替代方法。大模型吞噬了海量数据,耗尽了世界上所有容易获取的数据,模型训练需要大量芯片,成本高昂,电力短缺也阻碍了模型训练。这可能会改变人工智能硬件的竞争格局。