3月29日，知名AI研究实验室AI21在官网开源了，首个基于SSM-Transformer混合架构的商业大模型——Jamba。目前，ChatGPT、Stable Difusion 、Lyria等产品使用的皆是Transformer架构，虽然在捕捉序列内长距离依赖关系、泛化能力、特征提取等方面非常优秀，但在处理长序列、训练大参数模型时存在AI算力消耗大、过拟合、内存占用大等缺点。
来源：
AIGC开放社区
AIGC开放社区未经允许不得转载：爱AI工具库 » 首个基于SSM-Transformer混合架构，开源商业大模型Jamba
