2026-01-02 拓墣产业研究院

代理AI时代来临：NVIDIA结盟Groq制霸即时推理与开源生态

焦点报告 AI人工智慧 LLM暨关键硬体

意见反映字体大小小中大

摘要

由于推理结构转向「即时互动」，代理AI被视为AI真正能发挥与真实世界互动的关键。当模型需在处理小批量或即时推理时，LPU+SRAM架构下运用晶片内记忆体的优势，可望成为实现高效率推理的关键技术。NVIDIA与Groq达成非独家技术授权协议，不仅补足NVIDIA在超低延迟推理领域的最后一块拼图，同时随著开源模型持续崛起，也将强化NVIDIA在开源领域的影响力，形成软硬兼具的全方位生态。

一. 代理AI被视为AI真正能发挥与真实世界互动的关键
二. 从AI推论对运算架构的影响看NVIDIA结盟Groq之相关开源布局
三. 拓墣观点

图一　代理AI硬体运作方式说明
图二　SRAM关键应用场景举要
图三　GPU+HBM架构与LPU+SRAM架构比较

表一　Groq合作与相关布局举要
表二　采用Groq技术的AI应用举要
表三　NVIDIA开源模型举要

会员专属

您好，该资料属会员权益方可浏览，您需成为会员且购买此产业项目权限才可观看，详细说明如下：

拓墣产业研究院之「产业数据库」为付费的会员服务，若您尚未具备会员身份，欢迎您申请加入或是与我们的客服联络了解。
若您所属公司机关已具有拓墣会员身份，并且设定予贵公司人员在线申请，请先行移至「申请会员账号」填写申请数据后送出，我们会尽快为您审核办理。若未开放在线申请，请您询问贵公司的承办联系人处理，谢谢。
由于贵公司无采购此产业项目，因此您将无法浏览此篇文章，欲查询贵公司所购买的产业项目明细，请至「会员权益」查询，谢谢。