除了大量预定台积电产能外，英伟达还斥巨资拿下了HBM3内存的供应合同。消息人士称，该公司从美光和 SK海力士那里预购了700亿至1万亿韩元的HBM3内存。虽然没有关于这些款项具体用途的信息，但业界普遍认为其目的在于确保2024年HBM供应稳定。
此外，还有业内人士透露，三星电子、SK海力士、美光三大存储公司明年的HBM产能已完全售罄。业界认为，由于AI行业半导体公司之间的激烈竞争，HBM市场预计将在未来两年内实现快速增长。
根据现有爆料信息，英伟达正准备推出两款配备HBM3E内存的产品：配备141GB HBM3E 的H200 GPU以及GH200超级芯片，因此英伟达需要大量HBM内存。
H200是目前世界上最强的AI芯片，也是世界上首款采用HBM3e的GPU，基于NVIDIAHopper架构打造，与H100相互兼容，可提供4.8 TB/s速度。
在人工智能方面，英伟达表示，HGX H200在Llama 2（700 亿参数 LLM）上的推理速度比H100快了一倍。HGX H200将以4路和8路的配置提供，与H100系统中的软件和硬件兼容。它将适用于每一种类型的数据中心（本地、云、混合云和边缘），并由 Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等部署，将于 2024 年第二季度推出。