2026-01-02 拓墣產業研究院

代理AI時代來臨：NVIDIA結盟Groq制霸即時推理與開源生態

焦點報告 AI人工智慧 LLM暨關鍵硬體

意見反映字體大小小中大

摘要

由於推理結構轉向「即時互動」，代理AI被視為AI真正能發揮與真實世界互動的關鍵。當模型需在處理小批量或即時推理時，LPU+SRAM架構下運用晶片內記憶體的優勢，可望成為實現高效率推理的關鍵技術。NVIDIA與Groq達成非獨家技術授權協議，不僅補足NVIDIA在超低延遲推理領域的最後一塊拼圖，同時隨著開源模型持續崛起，也將強化NVIDIA在開源領域的影響力，形成軟硬兼具的全方位生態。

一. 代理AI被視為AI真正能發揮與真實世界互動的關鍵
二. 從AI推論對運算架構的影響看NVIDIA結盟Groq之相關開源布局
三. 拓墣觀點

圖一　代理AI硬體運作方式說明
圖二　SRAM關鍵應用場景舉要
圖三　GPU+HBM架構與LPU+SRAM架構比較

表一　Groq合作與相關布局舉要
表二　採用Groq技術的AI應用舉要
表三　NVIDIA開源模型舉要

會員專屬

您好，該資料屬會員權益方可瀏覽，您需成為會員且購買此產業項目權限才可觀看，詳細說明如下：

拓墣產業研究院之「產業資料庫」為付費的會員服務，若您尚未具備會員身份，歡迎您申請加入或是與我們的客服聯絡瞭解。
若您所屬公司機關已具有拓墣會員身份，並且設定予貴公司人員線上申請，請先行移至「申請會員帳號」填寫申請資料後送出，我們會儘快為您審核辦理。若未開放線上申請，請您詢問貴公司的承辦連絡人處理，謝謝。
由於貴公司無採購此產業項目，因此您將無法瀏覽此篇文章，欲查詢貴公司所購買的產業項目明細，請至「會員權益」查詢，謝謝。