NVIDIA 在 MLPerf 测试中将推理带到新高度

 行业动态     |      2023-06-02 11:05:14    |      沥拓

  


  NVIDIAH100和L4GPU在最新的MLPerf基准测试中将生成式AI和其它所有工作负荷带到了一个新的水平,JetsonAGXOrin在性能和效率方面都有所提高。


  MLPerf作为一个独立的第三方基准测试,仍然是衡量AI特性的权威标准。自MLPerf诞生以来,NVIDIAAI平台在训练和推理方面一直处于领先地位,包括最新发布的MLPerfInference3.0基准测试。


  NVIDIA创始人兼首席执行官黄仁勋说:“三年前我们推出A100的时候,AI世界是由计算机视觉主导的。现在,生成AI已经到来。


  通过Transformer引擎对GPT进行了优化,这就是我们创建Hopper的原因。最新的MLPerf3.0凸显了Hopper的性能是A100的4倍。


  “下一阶段的生成式AI需要一个高能效的新型AI基础设施来训练大型语言模型。为了构建由数万个通过NVIDIANVLink和InfiniBand连接的HopperGPU组成的AI基础设施,客户正大规模选择Hopper。”


  行业正在努力推动安全可靠的生成式AI取得新的进展。而且Hopper正在推动这项重要工作。


  根据最新的MLPerf数据,NVIDIA将AI推理性能和效率从云向边缘提升到了一个新的水平。


  具体而言,NVIDIAH100TensorCoreGPU在DGXH100系统中运行,在每个AI推理测试(即在生产中运行神经网络)中都表现出最高的性能。得益于软件优化,GPU在9月份首次亮相时实现了54%的性能提升。


  对于医疗领域,H100GPU在3D-UNet与9月份相比,MLPerf医学影像基准测试的性能提高了31%。


  在Transformer引擎的加持下,基于Hopper结构的H100GPU在BERT方面的表现非常出色。BERT是一种基于transformer的大型语言模型,它为生成式AI奠定了基础,目前已经得到了广泛的应用。


  生成AI允许用户快速建立文本、图像和3D模型。从创业公司到云服务提供商,企业为了实现新的业务模式,加快当前业务,正在迅速选择这种能力。


  为了获得即时响应,数亿人现在正在使用ChatGPT(同样是transformer模型)等生成式AI工具。


  在这个AIiPhone时刻,推理性能尤为重要。深度学习的部署几乎无处不在,这促进了对推理特性的无尽需求,从工厂车间到在线推荐系统。


  精彩的L4GPU亮相


  在这次MLPerf测试中,NVIDIAL4TensorCoreGPU首次亮相,其速度是上一代T4GPU的3倍以上。这种加速器具有扁平的形状,可以在大多数服务器中提供高吞吐量和低延迟。


  所有MLPerf工作负荷都由L4GPU运行。在对关键FP8格式的支持下,它在对性能要求很高的BERT模型方面取得了惊人的效果。


  L4GPU的图像解码速度除了出色的AI性能外,快10倍,视频响应速度快3.2倍,图形和实时渲染性能提高4倍以上。


  两周前,这些加速器在GTC上发布,并由各大系统制造商和云服务提供商提供。在GTC上发布的AI推理平台产品组合中,L4GPU是NVIDIA的最新成员。


  在系统测试中,软件和网络大放异彩


  在一个全新的MLPerf测试中,NVIDIA全栈AI平台显示出其领先优势。


  Network-division被称为Network-division的基准测试,将数据传输到远程推理服务器。这反映了企业客户将数据存储在企业防火墙后面,并在云上运行AI工作的热门场景。


  远程NVIDIADGXA100系统在BERT检测中提供了高达96%的最大本地性能,其性能下降的一个原因是它们需要等待CPU来完成一些任务。它们在ResNet-50计算机视觉测试中达到了100%的性能,仅仅依靠GPU来处理。


  由于NVIDIAQuantumInfiniband网络、NVIDIAConnectXSmartNIC、NVIDIAGPUDirect等软件,这两个结果在一定程度上是有益的。


  边缘的Orin性能提高3.2倍


  另外,与一年前的结果相比,NVIDIAJetsonAGXOrin模块化系统的能效率提高了63%,性能提高了81%。JetsonAGXOrin可以在需要AI的狭小空间中进行低功率推理,包括在电池供电系统中。


  JetsonOrinNX16G是专门为需要更小模块和更低功耗的应用而开发的,它在这次基准测试中首次亮相。它的性能是上一代JetsonXavierNX处理器的3.2倍。


  NVIDIAAI生态系统广泛


  根据MLPerf数据,NVIDIAAI得到了业界最常见的机器学习生态系统的支持。


  本轮测试中,华硕、戴尔科技、技嘉、新华三、联想、宁畅、超微、超聚变等系统制造商和微软Azure云服务等10家企业在NVIDIA平台上提交了结果。


  根据他们提交的结果,客户可以通过NVIDIAAI获得优异的性能,无论是云端还是自己的数据中心运行服务器。


  NVIDIA的许多合作伙伴也参与了MLPerf,因为他们知道这是一个非常有价值的工具,可以帮助客户评估AI平台和制造商。根据最新一轮的结果,随着NVIDIA平台的发展,他们今天提供的性能将会不断提高。


  顾客需要的是“多面手”


  NVIDIAAI是唯一一个能够在数据中心和边缘计算中运行所有MLPerf推理工作负载和场景的平台。其全面的性能和效率使用户能够成为真正的赢家。


  许多不同类型的神经网络通常用于客户的实际应用,这些网络通常需要立即提供答案。


  例如,AI应用程序可能首先需要了解客户的语音要求,对图像进行分类,提出建议,并以声音为语音回答客户。每一步都需要使用不同类型的AI模型。


  MLPerf基准测试包括这些和其他流行的AI工作负荷,因此这些测试可以保证IT决策者能够获得可靠且灵活的性能。


  用户可以根据MLPerf的结果做出明智的购买决定,因为这些测试是透明和客观的。这个基准测试已经获得了Arm。、百度、FacebookAI、广泛支持谷歌、哈佛大学、英特尔大学、微软大学、斯坦福大学和多伦多大学。