爱AI工具库,国内AIGC产品探索者分享平台
注册
当前位置:首页

“全球首创”单台 RTX 4090 服务器推理,昆仑万维开源 2 千亿稀疏大模型天工 MoE

爱AI工具库 2024-06-03
8

6 月 3 日,昆仑万维今日宣布开源 2 千亿稀疏大模型 Skywork-MoE,基于之前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来,号称是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE 大模型,也是首个支持用单台 RTX 4090 服务器(8 张 RTX 4090 显卡)推理的开源千亿 MoE 大模型。据介绍,本次开源的 Skywork-MoE 模型隶属于天工 3.0 的研发模型系列,是其中的中档大小模型(Skywork-MoE-Medium),模型的总参数量为 146B,激活参数量 22B,共有 16 个 Expert,每个 Expert 大小为 13B,每次激活其中的 2 个 Expert。天工 3.0 还训练了 75B (Skywork-MoE-Small) 和 400B (Skywork-MoE-Large)两档 MoE 模型,并不在此次开源之列。根据官方测试,在相同的激活参数量 20B(推理计算量)下,Skywork-MoE 能力接近 70B 的 Dense 模型,使得模型的推理成本有近 3 倍的下降。同时 Skywork-MoE 的总参数大小比 DeepSeekV2 的总参数大小要小 1/3,用更小的参数规模做到了相近的能力。Skywork-MoE 的模型权重、技术报告完全开源,免费商用,无需申请,IT之家附链接如下: 模型权重下载:https://huggingface.co/Skywork/Skywork-MoE-basehttps://huggingface.co/Skywork/Skywork-MoE-Base-FP8模型开源仓库:https://github.com/SkyworkAI/Skywork-MoE模型技术报告:https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe-tech-report.pdf模型推理代码:(支持 8 x 4090 服务器上 8 bit 量化加载推理) https://github.com/SkyworkAI/vllm

来源:IT之家

相关推荐

暂无数据

评论 ( 0 )

aiaitool@163.com

扫一扫,备注来意

qrcode

回顶部