根據(jù) The Elec 的報(bào)道，KAIST 教授金正浩指出，HBF（高帶寬閃存）——像 HBM 一樣堆疊的 NAND 閃存——可能成為 AI 未來的決定性因素。正如報(bào)道解釋的那樣，HBF 在結(jié)構(gòu)上與 HBM 相似，芯片堆疊并通過硅通孔（TSV）連接。關(guān)鍵的區(qū)別在于 HBF 使用 NAND 閃存代替了 DRAM。

AI 瓶頸主要受限于內(nèi)存帶寬

報(bào)告指出，金（Kim）強(qiáng)調(diào)當(dāng)前 AI 受限于內(nèi)存帶寬和容量。他解釋說，今天的基于 Transformer 的模型可以處理高達(dá) 100 萬個 token 的序列，需要 TB 級的數(shù)據(jù)。當(dāng)這些數(shù)據(jù)必須每秒讀取和寫入數(shù)千次時，有限的帶寬會導(dǎo)致大型語言模型（LLM）服務(wù)如 OpenAI 的 ChatGPT 或 Google 的 Gemini 變慢。

報(bào)告引用金的話解釋說，瓶頸源于馮·諾依曼架構(gòu)——現(xiàn)代計(jì)算機(jī)的基本設(shè)計(jì)——其中 CPU 或 GPU 與內(nèi)存物理分離，使得它們之間的數(shù)據(jù)傳輸帶寬至關(guān)重要。

超越 DRAM：HBF 如何為未來 AI 提供動力

為了應(yīng)對這些挑戰(zhàn)——特別是隨著未來 AI 需求可能擴(kuò)展到生成電影長度的視頻，這將需要比目前內(nèi)存容量大 1000 倍以上——金強(qiáng)調(diào)，較慢但容量更高的 NAND 閃存可以作為補(bǔ)充。他解釋說，雖然 NAND 閃存比 DRAM 慢，但它提供了大約 10 倍的容量，這對于支持下一代 AI 可能至關(guān)重要。

金強(qiáng)調(diào)，HBF 可以通過直接在 GPU 上存儲大型 AI 模型來克服 HBM 的容量限制。在這個框架中，HBM 作為快速數(shù)據(jù)處理的緩存，而 HBF 存儲本身的大型 AI 模型，他如報(bào)告所述。

值得注意的是，美國 NAND 存儲領(lǐng)導(dǎo)者閃迪今年早些時候宣布，正在開發(fā) HBF 技術(shù)，并與 SK 海力士簽署了一項(xiàng)具有里程碑意義的諒解備忘錄，共同制定規(guī)范，根據(jù)其新聞稿。閃迪計(jì)劃在 2026 年下半年提供 HBF 樣品，預(yù)計(jì)最早在 2027 年初推出第一代 AI 推理設(shè)備。據(jù)報(bào)道，其第一代 HBF 將采用 16 層內(nèi)存，每堆棧高達(dá) 512GB——帶寬與 HBM 相當(dāng)，容量增加 8 至 16 倍。