在HBM的竞争方兴未艾,存储巨头三星和SK海力士正在GDDR7和CLX等存储上开启了新一轮的争霸战,这首先体现在GDDR7上。
GDDR7新战争
三星和SK海力士在GTC2024上展示了他们即将推出的GDDR7内存解决方案。我们与这些公司以及美光和其他公司讨论了GDDR7以及我们何时可以在最好的显卡中看到它。根据其中一些讨论,它可能会比预期更早到来,这对下一代NvidiaBlackwell和AMDRDNA4GPU具有一些有趣的影响。
美光没有展示任何芯片,但代表表示,他们的GDDR7解决方案应该会在今年年底前投入使用,而最终确定的JEDECGDDR7标准应该会铺平道路。与此同时,SK海力士和三星展示的芯片将在官方标准之前生产,尽管从长远来看这可能并不重要。
SK海力士和三星展示的信息中有趣的是,两家公司都展示了16Gb(2GB)设备。我们向这些公司询问了内存容量,并被告知16Gb芯片正在生产中,并且可能会在今年年底出现在发货产品中。另一方面,24Gb(3GB)芯片不会出现在第一波浪潮中,很可能会在2025年出现。
这可能是有道理的,因为GTC2024上也有传言称消费级BlackwellGPU可能会在今年年底前开始发货。AMDRDNA4是否也会在今年上市还不太清楚。
从历史上看,在10月至12月的时间范围内看到“RTX5090”Blackwell卡是非常有意义的。Nvidia一直非常擅长以两年为周期推出新的GPU架构,这一点可以追溯到十年前。MaxwellGTX900系列于2014年9月推出,PascalGTX10系列于2016年5月推出,TuringRTX20系列于2018年9月推出。然后我们在2020年9月推出了Ampere和RTX30系列——正好赶上了加密货币激增将毁掉未来两年的一切——最终AdaLovelace和RTX40系列于2022年10月至11月推出。
有人质疑Blackwell消费级GPU是否会在2024年上市,以及RTX的推出相对较晚40系超级更新至少暗示了下一代的潜在推动力。但我在GTC采访过的一些人基本上都说超级卡“迟到了”,Blackwell消费部件可能不会受到影响。那么RTX50系列将于2024年底推出?在我们在GTC上看到了包括BlackwellB200的大规模展示之后,这种可能性似乎越来越大。
目前的BlackwellGPU传言表明,顶级消费型号GB202将采用512位内存接口,而降级GB203将仅采用256位接口。在看到GB200及其通过NV-HBI(Nvidia高带宽接口)连接的双芯片解决方案后,我们不禁认为这至少也有可能出现在消费类芯片上。想象一下,如果GB202只是两个GB203芯片,这就可以解释内存总线宽度加倍的原因。否则,另一个384位接口似乎更有意义。
然而,除此之外,还有其他影响。16GbGDDR7芯片已基本准备就绪,并将于今年晚些时候批量发货……正好赶上所谓的512位内存接口。16个芯片一起工作将产生32GB的VRAM,这对于未来的“RTX5090”(或者Nvidia想要的任何名称)来说似乎是一个完美合理的配置。但“RTX5080”降级到256位接口就有点不那么令人印象深刻了。
使用相同的16GbGDDR7芯片将为我们在第二层GPU上提供16GB的VRAM。对于AI之外的大多数当前工作负载来说,这当然“足够”了,但AMD已经销售16GB卡四年了。另一种方法是等待24GbGDDR7设备上市,这意味着256位接口上有24GB。与另一张16GB卡相比,我们更喜欢它,但我们必须看看事情会如何发展。
更重要的是,正是位于Nvidia、AMD和Intel等前两大解决方案之下的GPU,这些24Gb芯片才变得重要。我们现在看到很多游戏中12GB的VRAM基本上是您想要获得最大游戏性能的最低配置。以《HorizonForbiddenWest》为例,注意RTX308010GB和RTX407012GB卡。这两个GPU在1080p和1440p下基本上是平分秋色的,但3080在4K下的性能大幅下降,因为它超过了10GBVRAM。
如果我们已经推出需要12GB的游戏,那么开始交付更多具有12GB以上的主流级GPU才有意义。AMD的RX7800XT和RX7900GRE都有16GB内存,价格约为500-550美元,而Nvidia的RTX4070和RTX4070Super只有12GB,因为它们使用192位内存接口。但如果Nvidia等待24GbGDDR7,同样的192位接口可以轻松提供18GB的总VRAM,并且在PCB两侧都有芯片的翻盖模式下,该数字可以翻倍。
更重要的是,24GbGDDR7意味着更窄的128位接口(这一直是RTX4060Ti和RTX4060的一个严重问题)不会成为一个大问题。这些仍然能够通过每个32位通道的一台设备提供12GB内存,因此不需要消费者RTX4060Ti16GB。当然,同样的数学计算也适用于AMD,未来升级的RX7600级别GPU将获得12GB,而不是8GB。
这不仅仅与内存容量有关,尽管这确实很重要。据三星称,GDDR7的速度将高达32Gbps,而SK海力士则表示将提供高达40Gbps的GDDR7芯片。即使我们坚持使用较低的数字,每个设备的速度为128GB/s,或者128位接口的速度为512GB/s,192位接口的速度为768GB/s。两者都会显着增加内存带宽,这将解决我们对当前一代较低层GPU的第二个担忧。40GbpsGDDR7会将128位接口提升至640GB/s,将192位总线提升至800GB/s,不过我们怀疑最早要到2025年末才能在消费类GPU中看到这种配置。
这本身并不是什么新信息,但现在一切都开始汇集在一起。根据我们所听到和看到的情况,我们预计下一代Nvidia和AMDGPU将全面采用GDDR7内存,首批解决方案可能会在2024年底之前推出。这些将是极致性能和价格模型,更宽的接口仍可提供16GB至32GB的内存。一旦更高容量的非双倍GDDR7芯片广泛普及,第二波浪潮可能会采取通常的交错发布方式,并于2025年推出。希望这被证明是正确的,因为我们不希望看到明年推出更多8GB显卡。
争霸CXL
三星电子和SK海力士推出了大量用于人工智能(AI)的下一代内存CXL(ComputeExpressLink)新技术。
三星电子和SK海力士计划参加本月26日至27日在美国加利福尼亚州山景城举行的全球半导体会议“MemCon2024”。继上周在加州举行的NVIDIA年会GTC2024上推出下一代内存HBM(高带宽内存)后,两家公司此次瞄准CXL,旨在引领下一代内存市场。
三星电子DS部门美洲副总裁JinmanHan将发表主题演讲,主题为“面向AI的高容量和高内存带宽的CXL和HBM等内存创新”。
此外,三星电子DS部门美洲内存研究中心负责人ChoiJin-hyuk(副总裁)、三星电子内存业务部门DRAM开发总监HwangSang-jun(副总裁)以及副总裁YangSeok-gi三星电子内存解决方案实验室总裁兼CTO(首席技术官)表示,三星的CXL和HBM解决方案将分别通过三个会议进行介绍。
在SK海力士,存储系统架构副总裁KimHo-sik将以“人工智能CXL会成为下一代HBM吗?”为主题介绍SK海力士CXL技术的开发状况。
三星电子和SK海力士将CXL视为“下一代内存的新机遇”,并在两年前积极披露该技术,一直致力于扩大市场生态系统。由于英特尔准备在今年下半年推出第5代Xeon处理器,这是首款符合标准的中央处理器(CPU),两家公司的目标是在今年量产内存产品,并扩大产能认真供应。
去年5月,三星电子宣布在业界首次开发支持的128GBDRAM,同年12月共开发出4款产品,其中包括三星CMM-D、三星CMM-DC、三星CMM-H和三星CMM-HCCXL产品的推出是通过一次性申请四个商标来宣布的。CMM代表CXL内存模块,在三星内部,CXL统称为CMM。
此外,三星电子去年12月与企业Linux公司RedHat成功验证了CXL内存的运行。此外,三星电子正在重点开发CXL控制器,以用自己的产品取代从中国无晶圆厂公司澜起科技购买的CXL控制器。
SK海力士于2022年8月推出支持的96GBDRAM样品,并于同年10月宣布开发出业界首款集成基于CXL计算功能的内存解决方案CMS。去年10月,SK海力士参加了在美国加利福尼亚州举行的“OCP全球峰会2023”,通过展示基于XL的CMS和拉取存储器解决方案来展示其技术。
CXL内存未来增长潜力巨大。市场研究公司YoleDevelopment预测,到2028年,全球CXL市场将增至超过150亿美元(19.5万亿韩元)。CXL控制器市场预计将从2022年的9600万美元增至2029年的7.627亿美元(9888亿韩元)。
HBM市场的竞争
存储器半导体市场正在经历一场巨大的转变。包括ChatGPT在内的生成式人工智能(AI)热潮引发了对针对AI处理器优化的内存的需求爆炸性增长,并超出了移动、PC和服务器等传统市场。韩国存储器行业历来注重生产力竞争,采取“大量生产少量品种”的战略,现在正面临着“游戏规则”的改变。
与美国主要科技公司的合作以及微加工技术的进步已成为开拓新市场的关键成功因素。ChosunBiz对全球领先的存储半导体公司三星电子和SK海力士的竞争力进行了比较分析,预测了未来的市场格局。
“高带宽内存(HBM)是唯一能够处理最接近CPU(中央处理单元)和GPU(图形处理单元)信息的技术,将自己定位为半导体行业的‘游戏规则改变者’。”
2016年,时任SK海力士副总裁、现任SKOn总裁的李锡熙在汉阳大学首尔校区演讲后,用近30分钟的时间解释了HBM的价值。NVIDIA、AMD等半导体巨头现在都采用HBM作为核心内存,但当时HBM的商业化几乎不存在,只占SK海力士总销售额的不到1%。
HBM是一种高性能存储半导体,通过使用硅通孔(TSV)垂直堆叠多个DRAM(动态随机存取存储器)芯片,显着提高数据处理速度。它最大限度地提高了带宽(输入和输出数据的路径),促进高速并行操作。与传统DRAM采用有限品种的大规模生产模式不同,HBM是一种通过与客户合作创建的“定制存储器”。因此,HBM的竞争优势不仅在于高效制造和堆叠DRAM,还在于针对每个处理器量身定制的优化。HBM从第一代(HBM)到现在的第五代(HBM3E)已经开发并量产,包括第二代(HBM2)、第三代(HBM2E)和第四代(HBM3)。
在ChatGPT引领的生成式AI热潮中,HBM凭借其最大化的数据处理速度,已成为存储芯片行业的重要组成部分。虽然整个HBM市场由SK海力士和三星电子瓜分,但SK海力士处于领先地位,在主流第四代HBM(HBM3)领域占据了90%以上的市场份额(根据市场研究机构TrForce的数据)。HBM的平均售价比DDR4DRAM高出约五倍。SK海力士去年第四季度在全球半导体存储器领域迅速恢复盈利,很大程度上归功于HBM。
直到2010年代初HBM首次进入市场时,SK海力士和三星电子的技术竞争力几乎处于同一水平。尽管SK海力士与AMD合作开发了业界首款HBM原型机,但并未实现量产,暂时仍处于实验产品状态。三星电子(而非SK海力士)率先量产HBM2,即实际商业化的HBM产品,并于2015年底成功量产。
受三星成功的推动,SK海力士更加积极地加大了对HBM研发(RD)的投资。2017年,公司决定在京畿道利川市建立新的研发中心。两年后,竣工后,我们分配了大量资金来稳定TSV工艺,这是HBM制造中的一项关键技术。在LeeSeok-hee的领导下发起的早期HBM开发工作已由SK海力士前副董事长ParkJung-ho和现任总裁KwakNoh-jung成功延续。
第三代HBM(HBM2E)是两家公司在HBM市场上的决定性因素。SK海力士在HBM2E中抢先引入了TSV工艺技术中最具技术挑战性的MassReflowMoldedUnderfill(MR-MUF)技术。SK海力士专有的MR-MUF技术是一种将保护材料插入堆叠芯片之间并立即固化的工艺。它比三星电子和美光科技使用的工艺(逐个堆叠时在每个芯片上覆盖一层薄膜状材料)更高效、散热更强。
基于稳定的工艺,SK海力士在2022年6月HBM市场开始增长时率先量产HBM3,从而获得了早期优势。该公司是业内第一家提供HBM3的公司,该产品针对Nvidia最先进的AI芯片H100GPU进行了优化。另一方面,三星电子于去年7月量产了HBM3,但尚未向其最大客户Nvidia提供全面产品。
有人指出,存储半导体市场“无可争议的第一”三星电子由于低估了HBM市场的竞争力,失去了对国内同行公司的早期领先优势。事实上,三星在2019年因高管们对投资HBM持怀疑态度而在AI半导体市场起飞之前解散了专门的HBM研发团队,这是一个错误。巧合的是,大约在同一时间,竞争对手SK海力士正在新的研发中心提升其HBM相关技术能力。
“就HBM战略而言,三星电子的严重失误在于未能及时建立研发中心并整合相关研究人员,”三星一位高级官员表示。“当AI内存市场在2020年代出现曙光时,肯定是未能集中建立下一代内存研发机构并系统化开发能力。”
三星的内部分析表明,三星半导体部门的官僚化阻碍了该公司快速响应不断变化的市场需求的能力。以存储器部门为例,传统上是D-RAM专家的高管和高级管理人员深入参与公司的决策,这使得他们很难接受非常规的想法或先发制人的投资。
一位高管表示:“三星之所以难以根据快速变化的市场趋势灵活地转向,是因为自20世纪80年代以来就存在的D-RAM和NAND闪存领域的专家已经成为官僚领导者。”三星半导体(DS)部门。“传统存储半导体公司以制造技术为主的策略,致力于D-RAM、NAND闪存等小规模产品的量产,这与通过与外部公司积极合作打造的AI存储市场完全不同。”
事实上,三星半导体部门一直由曾在D-RAM开发实验室工作的人员领导。三星半导体业务的许多主要领导者,如前副董事长金基南(DS负责人)和前董事长权五贤(DS负责人)都来自D-RAM开发实验室或设计团队。
而SK海力士则在LG半导体、现代微电子、海力士并入SK集团的过程中加入了来自不同背景的专家,形成了开放的组织文化。