GPU通信
TODO
- https://mp.weixin.qq.com/s/KbYKAnZYQfLB2VkKQPhCVQ
在计算机的世界里，总线就是这样一条高速公路，它连接着CPU（中央处理器，相当于城市的中心）、内存、硬盘和其他外围设备。 总线是计算机硬件之间的高速公路
总线由三部分组成：数据总线、地址总线和控制总线。
数据总线: 这是数据传输的通道，就像高速公路上的车道，数据（车辆）通过这些车道在设备之间移动。数据总线的宽度（比如32位或64位）决定了一次可以传输多少数据。
地址总线: 这相当于高速公路的出口指示牌，告诉数据应该去往哪个地址（设备）。地址总线的宽度决定了计算机可以访问的内存地址数量。
控制总线: 这是交通指挥系统，控制着数据传输的方向和时序。就像交通信号灯和路标，确保数据顺利、有序地流动。
NVIDIA GPU 有两种常见的封装形式：PCIe GPU 和 SXM GPU。如果只有一个 GPU，那么NVLink 也就没意义；如果有2 个 PCIe GPU，那么可以使用 NVLink 桥接器（Bridge）实现互联；如果超过 2 个 PCIe GPU，就无法实现 NVLink的分组互联，此时只能考虑使用 SXM GPU。
一般来讲，单机内的多 GPU 之间通信分为：PCIe 桥接互联通信、NVLink 部分互联通信、NVSwitch 全互联通信三种。
PCIe是一种数据总线
PCIe，全称是Peripheral Component Interconnect Express，即外围组件互连快速通道。 PCIe是一种高速串行输入/输出（I/O）总线 ，用于计算机硬件设备之间的连接，如图形处理单元（GPU）、固态硬盘（SSD）、网络卡等。
PCIe总线具有以下特点：
高速串行传输 与传统的并行总线相比，PCIe采用串行传输方式，这可以减少信号干扰，提高数据传输速率。
可扩展性: PCIe支持多个通道，每个通道可以独立传输数据，从而提高整体的带宽。
热插拔: 用户可以在不重启计算机的情况下，插入或拔出PCIe设备。
电源管理: PCIe支持电源管理功能，可以降低功耗，延长设备的使用寿命。
PCIe的代次及传输速度
PCIe的初始标准定义了七种链路宽度，对应七种不同的物理插槽规格。这七种链路规格的通道数量分别为1组、2组、4组、8组、12组、16组和32组，对应的标识分别采用x1、x2、x4、x8、x12、x16和x32，不同规格的链路也和相应长度的物理插槽规格相匹配。一般来说，x16插槽是最常见的插槽规格，它用于接驳显卡或者万兆网络、超高速SSD等高性能高带宽设备。x32的插槽不太多见，往往用于服务器或者特殊场合。
PCIe x16插槽是支持x16数据通道的插槽，通常用于显卡。 它提供了较高的带宽，适合高性能的外围设备，如现代游戏、科学、工程和机器学习应用程序中使用的GPU。PCIe x16插槽的优点包括提供高带宽、低延迟的数据传输，并且支持热插拔。在GPU中，PCIe x16插槽能够确保GPU与CPU之间的数据交互高效、快速，从而提升整体的计算性能和图形处理能力。 ****