一篇发布在个人技术博客上的文章(eiln.github.io/posts/ane-dma.html)以“从苹果神经引擎拿回 50 GB/s”为题,记录了作者围绕 Apple Neural Engine(ANE)的 DMA 路径所做的工作。从标题以及链接路径中的“ane-dma”可以看出,文章关注的是 ANE 与内存之间的数据搬运机制。
ANE 是苹果集成在 A 系列与 M 系列芯片中的专用神经网络加速单元,长期承担设备端推理任务,Core ML 等框架会把它作为可调度的算力之一。随着端侧模型部署持续升温,专用加速器实际可用的内存带宽成为影响推理吞吐与延迟的关键因素之一;而 DMA 效率直接决定权重与激活值能否及时送达计算单元。
文章标题表明,作者在这一路径上找回了 50 GB/s 的带宽。对于需要持续在内存与 ANE 之间搬运数据的推理负载而言,这一量级的带宽若能稳定复现,就意味着更少的等待时间和更高的有效利用率,也会让开发者重新审视端侧推理的性能瓶颈究竟在算力还是在数据通路上。
需要说明的是,该文属个人技术分享,具体实现方式、测试条件与适用范围仍应以原文为准;对关注端侧推理优化的团队来说,这篇围绕 ANE DMA 的记录值得一读。
