3月13日，社交、科技巨头Meta在官网公布了两个全新的24K H100 GPU集群（49,152个），专门用于训练大模型Llama-3。此外，Llama-3使用了RoCEv2网络，基于Tectonic/Hammerspace的NFS/FUSE网络存储，继续使用了PyTorch机器学习库。从训练进度来看，估计Llama-3最快将于4月末或5月中旬上线。受Sora影响，很可能是一个多模态模型，并且会继续开源。
来源：
AIGC开放社区
AIGC开放社区未经允许不得转载：爱AI工具库 » Llama-3公布基础训练设施，使用49,000个H100
