一句话定义：Bootstrap 置信区间（Bootstrap confidence interval）是通过对现有评测样本反复“有放回重采样”来估计指标波动范围的统计方法，也就是排行榜或评测报告里数字后面那根误差棒（±x%）最常见的来源。
原理，打个比方：你煮了一锅汤，只能舀一勺尝咸淡。这一勺就是你的测试集。问题是：如果当初舀的是另一勺，结论会不会变？Bootstrap 的做法是，把这一勺里的每一滴都当作独立样本，然后有放回地重新舀出同样多的一勺，算一个准确率；重复几百到几千次，就得到几百到几千个分数。把它们从小到大排队，砍掉两端各 2.5%，剩下的区间就是 95% 置信区间。“有放回”意味着某些样本被抽中多次，另一些一次都没抽中——正是这种随机性，模拟了“换一批测试样本，分数会怎么抖”。
和相邻概念的区别：经典做法要先假设指标近似正态分布，再套公式算标准误；Bootstrap 不做分布假设，用计算量换通用性，均值、中位数、F1、延迟分位数都能算。
| 对比项 | 经典正态置信区间 | Bootstrap 置信区间 |
|---|---|---|
| 前提 | 假设分布形态（通常正态） | 几乎不假设，只要求样本可交换 |
| 计算方式 | 一个公式，秒出 | 重采样几百到几千次 |
| 适用指标 | 均值、比例等 | 几乎任何可计算的指标 |
| 主要风险 | 分布假设不成立就会偏 | 样本太少时照样不可靠 |
为什么 3% 的提升可能毫无意义：测试集越小，随机抽样带来的噪声越大。假设 A 模型 80.0%、B 模型 83.0%，看着是 +3%；但如果 bootstrap 算出的差值 95% 区间是 [-1%, +7%]，那真实差距可能接近零，甚至反超。只有当区间整体落在 0 以上（比如 [+1%, +5%]），才谈得上“稳定更好”。一个粗略的量级感：n 条样本上 80% 附近的准确率，标准误约等于 √(0.8×0.2/n)，1000 条时约 1.3 个百分点，95% 区间大致 ±2.5 个百分点。样本量翻 4 倍，噪声才减半。
给从业者的实操建议：
1. 报分时带上 n（样本量）和置信区间，只报一个点位，对比没有信息量。
2. 比两个模型时用配对 bootstrap：对同一批样本做同一次重采样，同时记录两个模型的分数并求差，再对差值做区间。这比分别算两个区间灵敏得多，因为它消掉了“这批样本本身难不难”的噪声。
3. 它只管抽样噪声，管不了标注错误、数据泄漏、测试集被反复调参、线上分布漂移。区间很窄，结论也可能是错的。
4. 各种库对重采样次数、区间校正方法（如 BCa）的实现细节不同，具体以官方文档为准。