AI大模型浪潮下，别让HBM内存控制器拖后腿
作者: 付斌
AI狂潮下，我们都对GPU短缺有所耳闻，而让它叱咤AI界背后最强“辅助”当属HBM（High Bandwidth Memory，高带宽内存），它已经成为目前首选的AI训练硬件。
简单解释，HBM是将很多DDR芯片堆叠在一起后和GPU封装在一起，实现大容量、高位宽的DDR组合阵列。打个比方来说，传统DDR是平房设计，HBM则是楼房设计，能够为GPU带来更高性能和带宽。
对于HBM来说，除了我们熟知的存储厂商，也拥有专注内存及高速接口领域的IP公司，Rambus就是走在前列的那一个。作为IP厂商排名前十的Rambus，至今成立已有33年。作为一家跨国科技公司，其总部位于硅谷的圣何塞，公司全球员工有600多名，70%为工程技术岗位。正如其名Ram（内存）和Bus（总线），从创立之初Rambus便致力于高端存储产品的研究与开发。
从未来趋势来看，预计到2025年，超过25%的服务器出货将会专供于AI领域。就拿参数量来说，2022年11月的ChatGPT参数是1750亿个，而到了今年3月参数量暴增至1.5万亿个，这一数字还在上升。这意味着，想要更好地追上AI发展速度，HBM内存控制器也要进一步迭代。为此，Rambus在12月7日宣布Rambus HBM3内存控制器IP现在可提供高达9.6 Gbps的性能，可支持HBM3标准的持续演进。
降低HBM行业的门槛
目前AI业界最常见的两大主流应用是AI训练和AI推理。对AI训练来说，需要建立一个模型，提供大量数据，从而让它能够去进行分析和掌握信息。AI推理则是通过已经经过训练的AI模型去实时运行新的数据，从而做出相应的预测，并产生相应的结果。
“二者不光应用领域不同，对于硬件的处理器和内存需求也是不同的。”Rambus 接口IP产品管理和营销副总裁 Joe Salvador对此分析，AI训练计算周期长，需要大量优质数据支撑，而这正是HBM最常被使用、最多被使用的领域。AI推理需要更加快速，能效比更好的硬件，大部分情况下，AI推理使用内存类型是GDDR和LPDDR等，但实际上，很多客户也会混合使用和交叉使用HBM。
从HBM演变历史可以看出，它所迭代非常迅速。比如说，从最开始的HBM1到2016年的HBM2，再到2018年发布的HBM2E，到2021年发布的HBM3，数据传输速率正在不断的提升。对比之下，从DDR4到DDR5过渡时间很长，但HBM技术迭代速度非常快。
目前，最新的产品世代是HBM3E，支持的数据传输速率达到9.6Gb/s，一个设备带宽总共加起来可以达到1.3Tb/s。
当然，虽然HBM由一套标准构建，但仅仅如此，并不足以让一家公司很好地制造出相应的控制器技术，假设一家公司想要进入HBM行业，必然面临着一定门槛，诸如对于总体架构设计的复杂度和了解程度。
Rambus已有多年设计控制器经验，包括HBM内存、GDDR内存、LPDDR内存及DDR内存，使得Rambus设计的内存控制器可以做到性能高、功耗低，而对客户来说，成本也相对较低。此外，Rambus也有多年与主流内存厂商合作的经验，把他们的内存组件纳入到我们的兼容性、以及相关的性能测试环节当中来去进行相应的验证。
现在Rambus提供的就是经过验证的，能够支持9.6Gb/s传输速度的内存控制器IP，HBM3子系统包含HBM3控制器及HBM3 PHY（物理层），可以大幅提升AI性能，支持HBM3及HBM3E内存设备。
该控制器是一种高度可配置的模块化解决方案，可根据每个客户对尺寸和性能的独特要求进行定制。对于选择第三方HBM3 PHY的客户，Rambus还提供HBM3控制器的集成与验证服务。
目前为止，还没有哪一家竞争对手拥有经过验证的，能够支持HBM3 9.6Gbps传输速率的内存控制器IP，这正是Rambus的技术领先优势。
提供一整套经过验证的解决方案
除了在HBM3控制器技术上领先，对Rambus来说，更重要的一点是Rambus将提供一整套经过验证的解决方案，能够与市面上目前比较常见的HBM3以及相关的内存模组进行匹配，最终得以应用。
首先，Rambus所提供的，并不仅仅是HBM内存控制器，也包含其它类型的内存控制器，比如GDDR6内存。HBM最大特点是高带宽，其拥有的数据引脚多达1024个，而GDDR尽管单引脚数据传输速率会更高，引脚数只有32个，但成本更低，内存数据读取相对更快。客户能够根据他们特点的不同用于不同应用选择二者。
其次，Rambus还提供相应的接口IP，支持PCIe、CXL以及硬件级别的安全IP，这些都可以支撑在同一个芯片上。
最后，Rambus还能够提供整个业内最广泛的安全IP产品组合。
“总体来说，我们的IP解决方案都是独立的，他们可以互相交叉排列组合起来使用，也可以根据客户需求单独使用。某些用例中，客户会希望在接口上面加入安全功能，比如说在PCIe接口上面加入加密的功能，我们会在这种时候响应客户的需求，完成不同产品之间的集成。” Joe Salvador这样解释道。
一言蔽之，对于单芯片客户来说，他们能够提供HBM控制器、PCIe接口、安全IP在内的多种IP模块组合，同时能够根据客户需求调优组合。
目前，Rambus和SK海力士、美光、三星均已完成一整套测试，此外，也经过了第三方的西门子Avery验证IP，合作之下，更能完整地支持相应功能。
HBM正走向边缘
“虽然我们还无法预测AI未来会发展到何种程度，但Rambus目前已经看到AI的应用场景正从以前集中在数据中心当中，逐渐地向边缘计算拓展。对于Rambus来说，这意味着业务的重心将有可能不再像以前那样全部集中在数据中心当中，而是也会随着市场需求囊括边缘计算的场景。” Joe Salvador这样分享道。
换言之，HBM和GDDR在边缘AI应用中都有机会，人们也在推测HBM接下来很有可能进入显卡的领域。事实上，现在已经有一些显卡在使用HBM内存，只是暂时还不是主流。还有人推测HBM可能会进入到汽车行业，虽然还没有哪家公司推出经过验证的车规级使用的HBM内存，但是这是一条可行的路。
当然，虽说HBM的好处多多，现阶段成本依然较高，GDDR依然是综合成本和性能的折衷选择，尤其适合网络AI推理应用。
Rambus的方案则覆盖高性能计算边缘计算以及汽车物联网等细分市场，也就是说，无论行业怎么发展，它的方案都是全面的，随时能够适应行业的最新趋势和需求。
从业务来看，Rambus包括基础专业授权、半导体IP授权和芯片业务，其中半导体IP又主要分为接口IP和安全IP，后续在还会推出CXL家族各产品组合芯片。
“Rambus非常重视中国市场，在中国设有相应的分支机构，建设专门的本地团队服务于中国市场。作为一家纳斯达克的上市公司，公司业务收入保持高速增长，2022年公司来自于芯片和IP的业务收入再创新高。特别是来自产品的业务收入，同比实现58%增长，所以公司整体有着非常强劲的财务表现和充裕的现金流。2022年达到了2.3亿美金的经营现金流。数据中心是公司主要聚焦的市场，75%以上的芯片和IP业务收入都来自于数据中心。”Rambus 大中华区总经理苏雷如是说。
