一句话定义
可解释 AI（Explainable AI，XAI）是一类让模型“为什么这么答”变得可被人理解和核查的技术与方法。它关心的不只是预测准不准，还包括这个结论背后有哪些证据、推理过程是否说得通。
打个比方
你去看医生，医生只说“吃这个药”，你心里没底；如果他补一句“你化验单上这三项偏高，所以先按这个方向治”，你就知道该信多少、该问什么。XAI 做的就是后面这件事：给模型的每个结论配一张“证据清单”。
三种常见做法
事后解释（post-hoc）：模型照常训练，事后再用解释器回看某一次判断。最常见的是特征归因（feature attribution），把结论拆分到各个输入上，告诉你哪些词、哪些字段影响最大；还有反事实解释（counterfactual），例如“如果收入再高一些，这笔贷款就会批”。这种对比往往比抽象权重更好懂。
内生可解释（intrinsic）：干脆使用结构本身就好读的模型，比如线性模型、决策树、广义可加模型（GAM）。代价通常是表达能力受限，复杂任务的精度往往不如深度模型。
例子级解释：把“和这条最像的几个历史样本、它们当时是什么结果”摆出来，让人自己形成判断。
有一点要防：注意力权重（attention weights）看起来很像解释，但它未必反映真实的因果影响，不能直接当作证据。
和相邻概念的区别
| 概念 | 关心什么 | 常见落点 |
|---|---|---|
| 性能评估 | 答得对不对 | 准确率、召回率等指标 |
| 透明度 | 信息是否公开 | 数据来源、模型说明、训练流程 |
| XAI | 单次判断为何成立 | 归因、反事实、规则摘取 |
透明度是把门打开，XAI 是进门之后能看懂。两者互补，替代不了彼此。
对实际工作的意义
对从业者，解释首先是一种调试工具。模型靠“标题里出现某个人名”就判正面，把归因拉出来一眼就能看见；这类捷径学习（shortcut learning）通常比调参更值得先修。其次是合规与问责：信贷拒贷、保险定价、医疗辅助这类高风险场景，往往需要给当事人一个能听懂的理由和申诉入口，具体口径以各地监管的官方页面为准。
对普通人，XAI 的价值是“可争辩”。你得先知道自己被哪几条因素影响了，才有机会指出“这条信息是错的”。
最后留个提醒：解释本身也可能是错的。解释器给出的只是对模型行为的近似描述，说得通不等于真因。所以好的 XAI 不追求让人信服，而是让人能核查。