极大降低大模型训练内存需求，Meta等推出高效方法

目前，多数大模型具备生成图像、视频、音频等多模态功能，但在预训练的过程中对内存的需求越来越高，例如，消费级显卡根本无法满足训练要求，对于个人、小型企业来说非常不方便。MetaAI、加州理工学院、卡内基梅隆大学等研究人员，联合推出了一种高效训练方法GaLore。相比传统的LoRA（低秩适应）优化方法，GaLore通过在训练过程中梯度矩阵自然呈现的低秩结构,可大幅降低30%优化器状态的内存需求,同时保留完全参数的学习能力。

来源：AIGC开放社区