跳至内容
对于InfiniBand，很多搞数通的同学肯定不会陌生。 进入21世纪以来，随着云计算、大数据的不断普及，数据中心获得了高速发展。而InfiniBand，就是数据中心里的一项关键技术，地位极为重要。 尤其是今年以来，以ChatGPT为代表的AI大模型强势崛起，更是让InfiniBand的关注热度大涨。因为，GPT们所使用的网络，就是英伟达公司基于InfiniBand构建的。 那么，InfiniBand 到底是什么技术？它为什么会倍受追捧？人们经常讨论的“InfiniBand与以太网” 之争，又是怎么回事？ InfiniBand（简称IB ），是一种能力很强的通信技术协议。它的英文直译过来，就是“无限带宽” 。 Infiniband的诞生故事，还要从计算机的架构讲起。 大家都知道，现代意义上的数字计算机，从诞生之日起，一直都是采用的冯·诺依曼架构 。在这个架构中，有CPU（运算器、控制器）、存储器（内存、硬盘），还有I/O（输入/输出）设备。 上世纪90年代早期，为了支持越来越多的外部设备，英特尔公司率先在标准PC架构中引入 PCI （Peripheral Component Interconnect，外设部件互连标准）总线设计。 不久后，互联网进入高速发展阶段。线上业务和用户规模的不断增加，给IT系统的承载能力带来了很大挑战。 当时，在摩尔定律的加持下，CPU、内存、硬盘等部件都在快速升级。而PCI总线，升级速度缓慢，大大限制了I/O性能，成为整个系统的瓶颈。 为了解决这个问题，英特尔、微软、SUN公司主导开发了“Next Generation I/O（NGIO ）”技术标准。而IBM、康柏以及惠普公司，则主导开发的“Future I/O（ FIO） ”。IBM这三家公司，还合力搞出了PCI-X 标准（1998年）。 1999年，FIO Developers Forum和NGIO Forum进行了合并，创立了InfiniBand贸易协会（InfiniBand Trade Association， IBTA） 。 很快，2000年，InfiniBand架构规范的1.0版本正式发布了。 简单来说，InfiniBand的诞生目的，就是为了取代PCI总线。它引入了RDMA协议，具有更低的延迟，更大的带宽，更高的可靠性，可以实现更强大的I/O性能。（技术细节，后文会详细介绍。） 说到InfiniBand，有一家公司我们是必须提到的，那就是大名鼎鼎的Mellanox 。 1999年5月，几名从英特尔公司和伽利略技术公司离职的员工，在以色列创立了一家芯片公司，将其命名为Mellanox。 Mellanox 公司成立后，就加入了NGIO。 后来，NGIO和FIO合并， Mellanox 随之加入了 InfiniBand阵营。2001年，他们推出了自己的首款InfiniBand 产品。 这一年，英特尔公司“临阵脱逃”，决定转向开发PCI Express（也就是PCIe，2004年推出）。而另一家巨头微软，也退出了InfiniBand的开发。 尽管SUN和日立等公司仍选择坚持，但InfiniBand的发展已然蒙上了阴影。 2003年开始，InfiniBand转向了一个新的应用领域，那就是计算机集群互联 。 2004年，另一个重要的InfiniBand非盈利 组织诞生—— OFA（Open Fabrics Alliance，开放Fabrics联盟） 。 OFA和IBTA是配合关系。 IBTA主要负责开发、维护和增强Infiniband协议标准；OFA负责开发和维护Infiniband协议和上层应用API。 2005年，InfiniBand又找到了一个新场景——存储设备的连接 。 老一辈网工一定记得，当年InfiniBand和FC（Fibre Channel，光纤通道）是非常时髦的SAN（Storage Area Network，存储区域网络）技术。小枣君初次接触InfiniBand，就是在这个时候。 再后来，InfiniBand技术逐渐深入人心，开始有了越来越多的用户，市场占比也不断提升。 到了2009年，在TOP500榜单中，已经有181个采用了InfiniBand技术。（当然，千兆以太网当时仍然是主流，占了 259个。） 在InfiniBand逐渐崛起的过程中，Mellanox也在不断壮大，逐渐成为了InfiniBand市场的领导者。 2010年，Mellanox和Voltaire公司 合并，InfiniBand主要供应商只剩下Mellanox和 QLogic。不久后， 2012年，英特尔公司出资收购了QLogic的InfiniBand技术，返回到InfiniBand的竞争赛道。 2012年之后，随着高性能计算（HPC）需求的不断增长，InfiniBand技术继续高歌猛进，市场份额不断提升 。 2015年，InfiniBand技术在TOP500榜单中的占比首次超过了50%，达到51.4%（257套 ） 。 这标志着InfiniBand技术首次实现了对以太网（Ethernet）技术的逆袭。 InfiniBand 成为超级计算机最首选的内部连接技术。 2013年，Mellanox相继收购了硅光子技术公司Kotura和并行光互连芯片厂商IPtronics，进一步完善了自身产业布局。 2015年，Mellanox在全球InfiniBand市场上的占有率达到80%。他们的业务范围，已经从芯片逐步延伸到网卡、交换机/网关、远程通信系统和线缆及模块全领域，成为世界级网络提供商。面对InfiniBand的赶超，以太网也没有坐以待毙。 2010年4月，IBTA发布了RoCE（RDMA over Converged Ethernet，基于融合以太网的远程直接内存访问），将InfiniBand中的RDMA技术“移植”到了以太网。2014年，他们又提出更加成熟的RoCE v2。 有了RoCE v2，以太网大幅缩小了和InfiniBand之间的技术性能差距，结合本身固有的成本和兼容性优势，又开始反杀回来。 大家通过下面这张图，可以看出从2007年到2021年的TOP500榜单技术占比。 如图所示，2015年开始，25G及更高速率的以太网（图中深绿色的线）崛起，迅速成为行业新宠，一度压制住了 InfiniBand。 2019年，英伟达（Nvidia）公司豪掷69亿美元，击败对手英特尔和微软（分别出价60亿和55亿美元），成功收购了Mellanox。 “这是两家全球领先高性能计算公司的结合，我们专注于加速计算（accelerated computing），而Mellanox专注于互联和存储。” 正如大家所见，AIGC大模型崛起，整个社会对高性能计算和智能计算的需求井喷。 想要支撑如此庞大的算力需求，必须依赖于高性能计算集群。而InfiniBand，在性能上是高性能计算集群的最佳选择。 将自家的GPU算力优势与Mellanox的网络优势相结合，就等于打造了一个强大的“算力引擎”。在算力基础设施上，英伟达毫无疑问占据了领先优势。 如今，在高性能网络的竞争上，就是InfiniBand和高速以太网的缠斗。双方势均力敌。不差钱的厂商，更多会选择InfiniBand。而追求性价比的，则会更倾向高速以太网。 剩下还有一些技术，例如IBM的BlueGene、Cray，还有Intel的OmniPath，基本属于第二阵营了。 介绍完InfiniBand的发展历程，接下来，我们再看看它的工作原理。为什么它会比传统以太网更强。它的低时延和高性能，究竟是如何实现的。 前文提到， InfiniBand最突出的一个优势，就是率先引入RDMA（Remote Direct Memory Access，远程直接数据存取） 协议。在传统TCP/IP中，来自网卡的数据，先拷贝到核心内存，然后再拷贝到应用存储空间，或从应用空间将数据拷贝到核心内存，再经由网卡发送到Internet。 这种I/O操作方式，需要经过核心内存的转换。它增加了数据流传输路径的长度，增加了CPU的负担，也增加了传输延迟。 RDMA的内核旁路机制，允许应用与网卡之间的直接数据读写，将服务器内的数据传输时延降低到接近1us。 同时，RDMA的内存零拷贝机制，允许接收端直接从发送端的内存读取数据，绕开了核心内存的参与， 极大地减少了CPU的负担，提升CPU的效率。 如前文所说，InfiniBand之所以能迅速崛起，RDMA居功至伟。 InfiniBand的网络拓扑结构示意，如下图所示： InfiniBand是一种基于通道的结构， 组成单元主要分为四类：· HCA（Host Channel Adapter，主机通道适配器） · TCA（Target Channel Adapter，目标通道适配器） · InfiniBand link（连接通道，可以是电缆或光纤，也可以是板上链路 ） · InfiniBand 交换机和路由器（组网用的） 通道适配器就是搭建InfiniBand通道用的。所有传输均以通道适配器开始或结束，以确保安全或在给定的QoS（服务质量）级别下工作。 使用InfiniBand的系统可以由多个 子网（Subnet） 组成，每个子网最大可由6万多个节点组成 。子网内部，InfiniBand交换机进行二层处理。 子网之间，使用路由器或网桥进行连接。 InfiniBand的二层 处理过程非常简单，每个InfiniBand子网都会设一个子网管理器，生成16位的LID（本地标识符）。InfiniBand交换机 包含多个InfiniBand端口，并根据第二层本地路由标头中包含的LID，将数据包从其中一个端口转发到另一个端口。除管理数据包外，交换机不会消耗或生成数据包。简单的处理过程，加上自有的Cut-Through技术，InfiniBand 将转发时延大幅降低至100ns以下，明显快于传统以太网交换机。 在InfiniBand 网络中，数据同样以数据包（最大4KB）的形式传输，采用的是串行方式。 InfiniBand协议同样采用了分层结构。 各层相互独立，下层为上层提供服务。如下图所示： 其中，物理层定义了在线路上如何将比特信号组成符号，然后再组成帧、数据符号以及包之间的数据填充等，详细说明了构建有效包的信令协议等。 链路层定义了数据包的格式以及数据包操作的协议，如流控、 路由选择、编码、解码等。 网络层通过在数据包上添加一个40字节的全局的路由报头（Global Route Header, GRH）来进行路由的选择，对数据进行转发。 在转发的过程中，路由器仅仅进行可变的CRC校验，这样就保证了端到端的数据传输的完整性。 传输层再将 数据包传送到某个指定的队列偶（Queue Pair, QP）中 ，并 指示QP如何处理该数据包 。 可以看出，InfiniBand拥有自己定义的1-4层格式，是一个完整的网络协议。 端到端流量控制，是InfiniBand网络数据包发送和接收的基础，可以实现无损网络。 说到QP（队列偶），我们需要多提几句。它是RDMA技术中通信的基本单元。 队列偶就是一对队列，SQ（Send Queue，发送工作队列）和RQ（Receive Queue，接收工作队列）。用户调用API发送接收数据的时候，实际上是将数据放入QP当中，然后以轮询的方式，将QP中的请求一条条的处理。 InfiniBand链路可以用铜缆或光缆，针对不同的连接场景，需使用专用的InfiniBand线缆。 InfiniBand在物理层定义了多种链路速度，例如1X，4X，12X。每个单独的链路是四线串行差分连接（每个方向两根线）。 以早期的SDR（单数据速率）规范为例，1X链路的原始信号带宽为2.5Gbps，4X链路是10Gbps，12X链路是30Gbps 。 随着时间的推移，InfiniBand的网络带宽不断升级，从早期的 SDR、DDR、QDR、FDR、EDR、HDR，一路升级到NDR、XDR、GDR。如下图所示： 英伟达最新的Quantum-2平台好像采用的是NDR 400G 最后，我们再来看看市面上的InfiniBand商用产品。 英伟达收购Mellanox之后，于2021年推出了自己的第七代NVIDIA InfiniBand架构—— NVIDIA Quantum-2。 NVIDIA Quantum-2平台包括：NVIDIA Quantum-2 系列交换机、NVIDIA ConnectX-7 InfiniBand 适配器、BlueField-3 InfiniBand DPU，以及相关的软件。 NVIDIA Quantum-2 系列交换机采用紧凑型1U设计，包括风冷和液冷版本。交换机的芯片制程工艺为7nm，单芯片拥有570亿个晶体管（比A100 GPU还多）。采用64个400Gbps端口或128个200Gbps端口的灵活搭配，提供总计51.2Tbps的双向吞吐量 。 NVIDIA ConnectX-7 InfiniBand 适配器，支持PCIe Gen4和Gen5，具有多种外形规格，可提供400Gbps的单或双网络端口。 根据行业机构的预测，到2029年，InfiniBand的市场规模将达到983.7亿美元，相比2021年的66.6亿美元，增长14.7倍。 预测期内（2021-2029）的复合年增长率，为 40%。 在高性能计算和人工智能计算的强力推动下，InfiniBand的发展前景令人期待。 究竟它和以太网谁能笑到最后，就让时间来告诉我们答案吧！
InfiniBand采用双队列程序提取技
文章导航