在 AI 编程助手的常见工作流里，模型要理解一个代码库，往往依赖反复的工具调用：搜索文件、读取片段，再据此决定下一步查什么。每一次往返都会把检索结果重新写回上下文，token 消耗随之累积，响应延迟也被拉长。
标题所述的方向是本地索引：先在本地为代码库建立索引，把检索环节放在模型之外完成，只把与当前任务真正相关的少量片段送入上下文。模型需要发起的工具调用次数因此下降，上下文中的无关内容也减少，token 用量相应降低。
对 AI 编程类工具来说，这几点直接关系到可用性。
其一是成本。长会话中检索结果反复进入上下文，往往是 token 账单的主要来源之一。
其二是延迟。每次工具调用都是一次往返，串联起来会明显拖慢交互节奏，而编码辅助恰恰是高频、短周期的交互场景。
其三是AI 词典：上下文窗口">上下文窗口的利用效率。窗口再大也是有限资源，被检索噪音占据后，模型对关键代码的注意力会被稀释。把过滤动作前移到本地索引，相当于在"模型看到什么"这一层做减法，而不是让模型自己在大量文件里摸索。
从工程角度看，本地索引还带来一个附带考虑：索引与检索在本地完成，进入模型上下文的内容更可控，这对拥有私有代码库的团队具有现实意义。
需要说明的是，这类方案的收益取决于索引如何构建与更新、粒度如何切分，以及它与具体工具的集成方式，不同实现之间差异可能很大。
相关思路与实现细节可参考原文：
https://tedhaley.ca/pensieve/