爱AI工具库,国内AIGC产品探索者分享平台
注册
当前位置:首页

Llama-3公布基础训练设施,使用49,000个H100

爱AI工具库 2024-03-13
23

3月13日,社交、科技巨头Meta在官网公布了两个全新的24K H100 GPU集群(49,152个),专门用于训练大模型Llama-3。此外,Llama-3使用了RoCEv2网络,基于Tectonic/Hammerspace的NFS/FUSE网络存储,继续使用了PyTorch机器学习库。从训练进度来看,估计Llama-3最快将于4月末或5月中旬上线。受Sora影响,很可能是一个多模态模型,并且会继续开源。

来源:AIGC开放社区

相关推荐

暂无数据

aiaitool@163.com

扫一扫,备注来意

qrcode

回顶部