爱AI工具库,国内AIGC产品探索者分享平台
注册
当前位置:首页

极大降低大模型训练内存需求,Meta等推出高效方法

爱AI工具库 2024-03-19
21

目前,多数大模型具备生成图像、视频、音频等多模态功能,但在预训练的过程中对内存的需求越来越高,例如,消费级显卡根本无法满足训练要求,对于个人、小型企业来说非常不方便。MetaAI、加州理工学院、卡内基梅隆大学等研究人员,联合推出了一种高效训练方法GaLore。相比传统的LoRA(低秩适应)优化方法,GaLore通过在训练过程中梯度矩阵自然呈现的低秩结构,可大幅降低30%优化器状态的内存需求,同时保留完全参数的学习能力。

来源:AIGC开放社区

相关推荐

暂无数据

aiaitool@163.com

扫一扫,备注来意

qrcode

回顶部