AI PC时代来临：边缘设备异构计算映射实现高效推理

最新研究"BIDENT: Heterogeneous Operator-level Mapping for Efficient Edge Inference"提出了一种面向现代边缘SoC（片上系统）的异构算子级映射方法。现代边缘设备集成了CPU、GPU和NPU等多种处理单元，但当前的推理框架通常将整个模型映射到单一处理单元上，导致大量性能和能效潜力被浪费。

BIDENT方法能够将AI模型的每一个算子智能分配到最适合的处理单元上执行，充分利用边缘设备的异构计算能力。实验结果表明，该方法相比传统单处理器映射方案，推理速度提升最高可达3倍，同时能耗降低超过40%。

随着AI PC、AI手机等新一代AI硬件设备的普及，这类异构计算优化技术将成为释放端侧AI潜力的关键。研究团队表示BIDENT方案可广泛应用于智能家居、工业物联网和自动驾驶等边缘AI场景。

文章来源：arXiv