CXL 如何打破内存瓶颈

内存扩展悖论

随着 AI 和实时处理工作负载的持续增长，系统越来越依赖更强大的 CPU 和加速器来处理海量数据。随着计算能力的提升，系统架构师正面临前所未有的 “内存墙”（Memory Wall） 瓶颈。

为了满足这一不断增长的需求，系统需要更大容量、更低延迟的 DRAM。然而，通过传统 DIMM 插槽进行的内存扩展受到 CPU 支持的内存通道数量的限制。一旦这些插槽被插满，进一步扩展内存容量将变得极其困难。

这一挑战在边缘系统中尤为明显，因为平台尺寸、功耗预算和 DRAM 成本对系统设计提出了额外的限制。当瓶颈转移到内存处理，加之 DRAM 价格波动和供应波动，传统的扩展方法往往显得捉襟见肘。虽然这些挑战暴露了明显的局限性，但也指明了前进的替代方案——以及一种思考内存扩展的全新方式。

传统基于 DIMM 的内存扩展考量 

NUMA 效应

在双 CPU 或多路系统中，每个处理器都有自己的本地内存，这种架构被称为 NUMA（非统一内存访问，Non-Uniform Memory Access）。每个 CPU 及其附加的内存构成一个 NUMA 节点。

虽然 CPU 可以直接访问其本地内存，但访问连接到另一个 CPU 的内存需要通过处理器间互连，从而导致更高的延迟。

如果内存未在各节点间均匀分布，操作系统可能会将应用程序数据放置在远程 NUMA 节点中，从而增加延迟并降低性能。

除了跨插槽延迟外，内存性能还受到主板上“DIMM 物理排列方式”的影响。

DIMM 拓扑结构

内存配置还受 DIMM 拓扑结构的影响，即内存通道和插槽在主板上的电气布线方式。

根据布局的不同，某些主板在优先填充最靠近 CPU 的 DIMM 插槽时性能最佳。安装第二个 DIMM 可能会导致内存频率下降。

其他设计则针对平衡配置进行了优化，即 DIMM 在内存通道上对称安装。仅安装一个 DIMM 可能无法提供最佳性能。

为了充分发挥系统性能，用户需要了解其主板的 DIMM 拓扑结构并相应地配置内存。这些设计考量也推动了人们对新型内存扩展方法的兴趣——这正是 CXL 等技术发挥作用的地方。

什么是 CXL，以及它为何被创建？

CXL (Compute Express Link) is an open industry standard for high-speed interconnects, first released in 2019 and backed by a consortium of major technology companiesCXL (Compute Express Link) 是一项用于高速互连的开放行业标准，于 2019 年首次发布，并得到了包括 Intel、AMD、ARM、Samsung、Micron 等主要科技公司组成的联盟的支持。它既定义了管理设备通信的协议层，也定义了建立在 PCIe 电气接口之上的物理层。这意味着 CXL 设备可以插入标准的 PCIe 插槽，同时实现一种截然不同的内存访问方式。

CXL 的三个子协议

CXL 定义了三个互补的子协议，它们协同工作以支持不同的通信模式：

CXL.io 处理基本的设备通信。它负责识别、初始化和管理设备——类似于系统检测和配置 PCIe 设备的方式。简而言之，它使系统能够识别 CXL 设备并使其可用。

CXL.mem 是实现内存扩展的关键。它允许 CPU 访问 CXL 设备上的内存，就像访问系统内存一样。从操作系统的角度来看，这块内存仅仅表现为额外的 RAM。

CXL.cache 使 CXL 设备能够缓存主机 CPU 内存。它确保 CPU 和设备始终使用最新的数据，避免在它们之间共享数据时出现不一致。

CXL 设备类型

基于 CXL 协议构建的设备，根据其核心功能大致可分为三种类型。Type 1 设备是没有板载内存的加速器。Type 2 设备是包含板载内存的加速器。Type 3 设备则纯粹专注于内存扩展。

宜鼎的 CXL 产品系列，包括  CXL Add-In Card (CXL AIC) 和 CXL Memory Module (CMM) ，均属于 Type 3 设备，允许处理器将外部内存作为主机地址空间的原生扩展进行访问。

宜鼎 CXL 解决方案如何打破内存瓶颈

宜鼎的 CXL 产品旨在突破传统内存架构的限制。CMM 提供每模块 64GB、96GB 或 128GB 的扩展容量，而 CXL AIC 则可通过板载的两个 DIMM 插槽将容量扩展至 256GB。

CXL Memory Module                                                                                  CXL Add-in-Card

除了简单绕过主板 DIMM 插槽数量的限制外，Innodisk CXL solutions 还提供以下几项关键架构优势：

1. 内存池化（Memory Pooling）：应对 NUMA 挑战

CXL 允许多个主机共享一个统一的内存池，使资源分配更加灵活，并有助于缓解 NUMA 架构中常见的延迟和不平衡问题。这种能力对于在不可预测环境中运行的多主机边缘服务器尤为宝贵。

现实世界的工作负载在数据处理需求上经常经历显著波动。根据知名的 5G 网络流量报告，每日流量峰值可达平均负载的 2-4 倍，通常发生在晚间，此时大量用户同时观看视频流、玩游戏或访问在线服务。而大型体育赛事转播等特殊事件，甚至会将网络流量推向更高的峰值。

金融交易基础设施也呈现出类似的模式。交易所数据表明，市场活动遵循众所周知的日内交易量 U 型模式，最高活跃度出现在开盘和收盘附近。在重大市场事件期间，交易系统中的消息速率可能会急剧上升，由于实时处理海量市场数据和交易订单，有时会出现 10 倍的激增。 

5G Traffic Pattern                                                                                  Trading Message Rate

这些工作负载峰值给系统架构师带来了根本性的挑战。内存容量必须按峰值需求进行配置，即使在正常运行期间，这些容量中的很大一部分可能处于未充分利用状态。

这正是内存池化变得至关重要的地方。组织无需在每台服务器上过度配置内存，即可实现更高的资源利用率，同时仍保持处理突发工作负载激增的能力。

2. 利用带有内存语义的 PCIe 接口

尽管 CXL AIC 通过 PCIe 连接器进行连接，但内存语义允许 CPU 更直接地访问 CXL 内存，从而实现类似内存的访问。

最重要的是，由于 CPU 将 CXL AIC 视为单一的 CXL.mem 设备，它绕过了传统的 DIMM 级拓扑问题（如频率下降）。无论主板的内部布局如何，都能获得可预测的性能和高信号完整性。

将 CXL 从数据中心延伸至边缘

CXL 内存扩展可以通过不同的物理规格（form factors）来实现，每种规格都针对特定的系统架构进行了优化。

宜鼎的 CXL Memory Module (CMM) 专为数据中心环境打造，在紧凑的 EDSFF E3.S 物理规格下提供高密度内存扩展。它还荣获了多项行业大奖，包括 FMS Best of Show 和 Taiwan Excellence Award 2025。

在此基础上，宜鼎通过 CXL AIC 将相同的 CXL 能力延伸至边缘部署。CMM 和 AIC 均通过标准 PCIe 连接器进行连接，但 AIC 采用基于插卡（card-based）的设计，在系统配置和预算控制方面提供了更大的灵活性。

AIC 的 TCO 优势

内存定价并非线性。随着密度的增加，每 GB 的成本通常呈指数级增长。大容量模块（如 256GB DIMM）带有显著的“容量溢价”。

通过利用 CXL AIC, 组织可以实现显著的 TCO（总拥有成本）优势。例如，在主板上安装两个 128GB DIMM，并在 CXL AIC 上安装两个 128GB DIMM，其成本通常低于仅为主板购买两个 256GB 模块。

灵活部署

CXL AIC 能够根据实际系统需求实现灵活的内存扩展，而无需修改现有的 DIMM 配置。这使其特别适合保守的工业环境。

根据您的目标，您可以优化您的设置：

• 追求最大扩展：128GB x2 (主机) + 128GB x2 (AIC)。这将把您的边缘设备推向极限。
• 追求成本效益：64GB ×2 (主机) + 64GB ×2 (AIC)。使用主流、经济实惠的模块即可提供显著的容量，同时随着系统需求的增长，仍允许未来升级到更高容量的配置。
• 追求纯粹的信号完整性与低延迟：主机留空 + 128GB x2 (AIC)。通过将内存工作负载转移到 AIC，您可以绕过复杂的主板拓扑结构，获得可预测的高速性能。

除了容量灵活性外，CXL AIC 还在物理部署方面提供了灵活性。它可以与宜鼎的工业级 DDR5 RDIMM VLP 模块搭配使用，以进一步减小系统占用空间。此外，在保持半长（half-length） 设计的同时，AIC 支持全高和半高挡板（brackets），能够在边缘服务器和工业平台等空间受限的环境中实现无缝部署。

重新思考内存扩展

随着内存墙继续对现代系统构成挑战，扩展内存不再仅仅是增加更多的 DIMM。关键在于选择正确的架构。CXL 为更灵活、可扩展的内存方案打开了大门，而宜鼎的 CXL 解决方案将这种能力带入实际部署，帮助您构建为下一代工作负载做好准备的系统。

相关新闻稿

1. Innodisk Launches CXL Add-In Card for Scalable Edge AI Memory Expansion

2. Innodisk Unveils Advanced CXL Memory Module to Power AI Servers

相关产品

1. CXL Add-in Card (CXL AIC)

2. CXL Memory Module (CMM)