昆仑山

首页 » 问答 » 常识 » NVLink究竟是个啥
TUhjnbcbe - 2023/1/29 21:55:00

随着人工智能的不断演进,GPU在高性能计算和深度学习中扮演着越来越重要的角色,GPU强大的并行计算能力,大大提升了运算性能。在运算数据量不断攀升下,GPU间需要进行大量数据交换,GPU通信性能成为了非常重要的指标。

为此,NVIDIA推出了能够提升GPU通信性能的技术——GPUDirectP2P技术(使GPU可以通过PCIExpress直接访问目标GPU的显存,避免了通过拷贝到CPUhostmemory作为中转,大大降低了数据交换的延迟),但受限于PCIExpress总线协议以及拓扑结构的一些限制,无法做到更高的带宽,为了解决这个问题,NVIDIA提出了NVLink总线协议。

PCIExpress现状

目前PCIe4.0协议,相较PCIe3.0已实现带宽翻倍,x16双向带宽达到了64GB/s,而搭载HBM2e显存的NVIDIAA带宽已可达到GB/s。显卡核心和显存之间的数据交换通道已经达到如此带宽,但是GPU之间以及GPU和CPU之间的数据交换受到PCIe总线影响,成为了瓶颈。

NVLink

为解决PCIExpress下的瓶颈,NVIDIA推出了NVLink,可提供更高带宽和更多链路,并可提升多GPU系统配置的可扩展性,有效解决互连问题。

于年发布的P是搭载NVLink的第一款产品,具有GB/s的带宽,相当于PCIeGen3*16带宽的5倍。GTC上发布的V搭载NVLink2.0,更是将带宽提升到了GB/s,差不多达到了PCIeGen4*16带宽的5倍。

而在去年GTC20中最新发布的NVIDIAA更是搭载了NVLink3.0,单个NVIDIAATensor核心GPU支持多达12个第三代NVLink连接,总带宽为每秒GB/s,几乎是PCIeGen4带宽的10倍。

NVLinkBridge

目前,NVLink分为两种,一种是主板是集成了NVLink接口,另一种则是以桥接器的形式实现NVLink高速互联技术。

但目前集成NVLink接口的主板极为少数,PCIe仍为主流平台的标配。为使NVLink得到更广泛应用,加速应用程序的运行效率,NVIDIA推出了可通过NVLink技术连接两片高性能GPU的NVLinkBridge,其能实现显存扩展和性能增强,满足人工智能下的超大负载需求。此前,只有Geforce、Titan及Quadro系列中的部分产品支持NVLinkBridge,但全新Ampere下的A(PCIe版本)、A40、A30、A0、A均已实现NVLinkBridge的支持。在NVLink3.0技术支持下,A(PCIe版本)可实现GB/sGPU-GPU带宽,A30可实现GB/sGPU-GPU带宽,其余则可实现GB/sGPU-GPU带宽,大大降低了数据交互的延迟,助力更多端到端计算平台的构建

超益集伦作为NVIDIAElitePartner,可提供专业的产品解决方案与技术服务支持,帮助客户实现高效、稳定的算力升级。

1
查看完整版本: NVLink究竟是个啥