释放NPU潜能：SLM与异质整合协同设计下的混合AI架构转型
摘要
随著推论从云端转移至边缘端，驱动小型语言模型(SLM)与硬体效能架构同步创新，形成混合AI运算模式。由于边缘装置受限于功耗与散热条件，且推论速度取决于记忆体频宽而非单纯NPU算力，促使硬体朝异质整合架构发展，其中NPU以低功耗、高能效特性成为终端AI关键硬体；然而，目前多数AI模型仍以GPU优化，模型与硬体的协同设计将是发挥NPU效能的关键。
一. 代理AI将成AI走入现实生活应用的关键
二. 混合AI架构
三. 拓墣观点
图一 SLM轻量化技术分类说明
图二 混合AI的硬体光谱
图三 使用NPU执行的应用程式举要
图四 NPU推理效能优化的软硬体协同架构
表一 SLM举要
表二 各晶片厂商的NPU架构与API举要
