爱AI工具库,国内AIGC产品探索者分享平台
注册
当前位置:首页

首个基于SSM-Transformer混合架构,开源商业大模型Jamba

爱AI工具库 2024-03-29
23

3月29日,知名AI研究实验室AI21在官网开源了,首个基于SSM-Transformer混合架构的商业大模型——Jamba。目前,ChatGPT、Stable Difusion 、Lyria等产品使用的皆是Transformer架构,虽然在捕捉序列内长距离依赖关系、泛化能力、特征提取等方面非常优秀,但在处理长序列、训练大参数模型时存在AI算力消耗大、过拟合、内存占用大等缺点。

来源:AIGC开放社区

相关推荐

暂无数据

aiaitool@163.com

扫一扫,备注来意

qrcode

回顶部