美光高管Jeremy Werner指出,AI推理與上下文視窗激增,使記憶體從配角變身關鍵資產,若空間不足導致模型被迫重複計算,將引發算力危機,即使全球同步擴產也難填補當前缺口。
★【理財達人秀】爆量鬥法 五萬加速? 中小滿天飛 賺認錯名單 ★
根據華爾街見聞報導,美光科技數據中心業務部門高級副總裁兼總經理Jeremy Werner在《The Circuit》在Podcast節目中直言,記憶體已成為數據中心推理環節突破瓶頸的關鍵戰略資產。他認為訓練是「學習後遺忘」,但推理本質上是「記憶」,模型在解碼階段必須調用先前的計算結果,也就是所謂的KV快取(KV Cache)來生成答案。一旦記憶體空間不足以存放這些歷史狀態,模型就必須回頭進行指數級的重複計算,這會直接導致GPU利用率大幅下降。Werner強調,若能提供充足且高速的記憶體,「理論上可以從GPU中榨取出平方倍的算力」。
當前AI推理的上下文長度正以每年30倍的速度瘋狂增長,這項變革正推動從HBM到SSD的完整存儲鏈需求。Werner在訪談中梳理了五層記憶體架構,從緊貼GPU的高帶寬記憶體(HBM)、主記憶體、擴展記憶體,到用於存放KV快取的SSD,最後則是底層的海量數據湖。他坦言目前整個層級都處於供不應求的緊繃狀態,更口語地描述這種搶貨盛況表示:「只要我們發布產品,客戶就會消耗掉;只要我們提升容量和性能,他們就會找到方法部署。」
面對日益擴大的市場缺口,Werner在節目中坦承:「我們沒有在全球建造足夠多的晶圓廠。」目前美光正展現極具侵略性的擴產計畫,同步推進五座工廠的建設與擴建,地點橫跨美國愛達荷州、紐約州、佛吉尼亞州,以及新加坡與日本,甚至在台灣收購了一座晶圓廠。然而他提醒,晶圓廠無法在短期內完工,且包含英特爾、英偉達、台積電在內的整個半導體產業鏈目前都面臨產能滿負荷的局限,記憶體產能追不上需求的現狀,在短期內恐怕難以扭轉。
此外美光今(6)日正式推出全球容量最高的商用SSD「6600 ION」,單顆容量高達245TB。該產品採用領先業界的G9 QLC NAND技術,專為AI資料湖、雲端與超大規模工作負載量身打造。與傳統硬碟(HDD)相比,在達成相同儲存規模的前提下,美光6600 ION能減少82%的機架空間需求,顯著提升資料中心密度。在效能與節能方面,其AI前處理效率提升8.6倍,能源效率更大幅進步84倍,且最大功耗僅30瓦,能有效緩解AI基礎建設的電力瓶頸。此一技術突破不僅為營運商降低了總體擁有成本(TCO),更透過大幅減少碳排放,助力企業永續發展,重新定義了次世代資料中心的儲存經濟效益。
(封面圖/翻攝自美光官網)
【往下看更多】
【熱門排行榜】