苹果机器学习研究（Apple Machine Learning Research）站点收录了论文《Attention to Mamba: A Recipe for Cross-Architecture AI 词典：Distillation">Distillation》，归类为论文。该页面目前未提供摘要，具体方法、实验设置与结论需以原文为准。
从标题看，这项工作聚焦“跨架构知识蒸馏”：把基于自注意力（Attention）的模型能力迁移到 Mamba 这类状态空间模型上，并给出一套可复用的“配方”（recipe）。在当前模型版图中，自注意力擅长全局建模与信息检索，但计算量随序列长度呈二次增长；Mamba 以状态空间递推实现近线性复杂度，在长序列与推理效率上有优势，但在精确回忆类任务上常被认为存在差距。如何取长补短，是过去一段时间被反复讨论的方向。
跨架构蒸馏的难点在于“对齐”。传统蒸馏多依赖相同或相近结构，可直接匹配输出分布、中间层特征或注意力图；而 Attention 与 Mamba 的内部表示形态不同，缺少天然的一一对应关系，需要专门设计监督信号、层间映射与训练调度——这大概率正是标题中“recipe”所指的部分。
若此类路线可行，其价值在于以较低成本把成熟注意力模型的能力迁移到推理更省的状态空间模型上，对端侧部署与长上下文场景尤其有吸引力。苹果长期关注端侧方向，这一选题与其研究侧重一致。对从业者而言，值得关注的是它能否给出可复现的蒸馏流程，以及在效果与效率之间实际能换来多少空间。
论文详情：https://machinelearning.apple.com/research/attention-mamba-distillation