arXiv 上新出现一篇题为《Subquadratic Attention with a Hierarchical Tree-Structured Indexer》的论文,编号 2610.42112,归类为论文(cs 方向常规预印本)。目前公开页面仅有标题与分类信息,摘要字段尚未给出实质内容,方法细节、实验设置与结论均需以原文为准。
从标题看,这项工作试图回答长上下文建模中的一个核心问题:标准注意力需要让每个查询与全部历史 token 两两交互,计算与显存开销随序列长度呈二次增长,序列一长,训练与推理成本就迅速失控。论文给出的思路是用一个“层次树结构”的索引器来组织上下文——先把 token 或片段按层级聚合成树,查询先在树的上层做粗粒度筛选,再逐层下沉到少数相关叶节点,只对这批被选中的位置计算注意力。由于每层只访问一小部分节点,总体代价被压到亚二次量级,而层次结构本身保留了从粗到细的语义组织能力,避免扁平索引在超长上下文下精度退化。
若这一路线成立,其意义在于:一是把注意力的复杂度曲线从二次拉向近线性,为百万级 token 上下文提供更可行的工程路径;二是把“检索”从外挂模块内化为注意力机制的一部分,可能影响现有稀疏注意力、线性注意力与 RAG 式长文本方案的设计取舍。对从业者而言,值得在原文公开后重点核对三件事:树索引如何构建与更新、单次查询实际访问的 token 比例、以及在不同序列长度下相对全注意力的质量差距与吞吐收益。
