代理AI时代来临：NVIDIA结盟Groq制霸即时推理与开源生态
摘要
由于推理结构转向「即时互动」，代理AI被视为AI真正能发挥与真实世界互动的关键。当模型需在处理小批量或即时推理时，LPU+SRAM架构下运用晶片内记忆体的优势，可望成为实现高效率推理的关键技术。NVIDIA与Groq达成非独家技术授权协议，不仅补足NVIDIA在超低延迟推理领域的最后一块拼图，同时随著开源模型持续崛起，也将强化NVIDIA在开源领域的影响力，形成软硬兼具的全方位生态。
一. 代理AI被视为AI真正能发挥与真实世界互动的关键
二. 从AI推论对运算架构的影响看NVIDIA结盟Groq之相关开源布局
三. 拓墣观点
图一 代理AI硬体运作方式说明
图二 SRAM关键应用场景举要
图三 GPU+HBM架构与LPU+SRAM架构比较
表一 Groq合作与相关布局举要
表二 采用Groq技术的AI应用举要
表三 NVIDIA开源模型举要
