爱AI工具库,国内AIGC产品探索者分享平台
注册
99%工具无需特殊网络!
当前位置:首页

Llama-3公布基础训练设施,使用49,000个H100

爱AI工具库 2024-03-13
76

3月13日,社交、科技巨头Meta在官网公布了两个全新的24K H100 GPU集群(49,152个),专门用于训练大模型Llama-3。此外,Llama-3使用了RoCEv2网络,基于Tectonic/Hammerspace的NFS/FUSE网络存储,继续使用了PyTorch机器学习库。从训练进度来看,估计Llama-3最快将于4月末或5月中旬上线。受Sora影响,很可能是一个多模态模型,并且会继续开源。

来源:AIGC开放社区

相关推荐

暂无数据

aiaitool@163.com

打开微信扫一扫

qrcode

回顶部

×

我的收藏

请先登录登录

请先登录登录