一句话定义:AI 治理(AI Governance)是组织内部的一套制度安排,让每个 AI 系统都说得清“谁批准的、风险多高、出问题翻哪本账”。它管的不是模型聪不聪明,而是人怎么用模型、怎么负责。
打个比方:开一家餐厅。菜好不好吃,对应的是模型能力;厨房有没有生熟分开、进货有没有留小票、消毒由谁负责、出了投诉查哪一批货——这些才是治理。一家店只有能追溯到批次和环节,才叫“有治理”。模型也一样:能跑出好结果,不等于能被管理。
公司层面的三件事
1. 定规矩:风险分级。 内部用来整理会议纪要的模型,可以部门自评就用;用来给客户授信评分、筛简历、辅助医疗判断的模型,就得上更严的关卡——独立评审、偏见与稳健性测试、人工复核通道、上线后持续监控。分级标准要写成文字、公开可查,而不是每次靠“感觉这个挺敏感”。
2. 定流程:设置上线前的检查环节。 典型路径是:需求提出 → 风险定级 → 评测与红队测试(red teaming)→ 有人签字批准 → 灰度上线并监控 → 定期复评。关键细节是签字的人要有名有姓;“经团队研究决定”等于没人负责。
3. 留证据:这一条最容易被忽略。 模型卡(model card)记录训练数据来源、适用场景和已知局限;评测报告记录在什么数据上测了什么;变更日志记录哪天换了模型版本;线上日志和申诉记录保存用户被拒的真实原因。留证据首先是为了三个月后你自己还能回答“当时为什么这么决定”,而不是为了应付检查。
和相邻概念的区别
| 概念 | 关心的问题 | 主要产出 | 谁主导 |
|---|---|---|---|
| AI 对齐(AI 词典:Alignment">Alignment) | 模型行为是否符合人的意图 | 技术方法与训练手段 | 算法团队 |
| 模型评测(Evaluation) | 这个模型在哪些维度上表现如何 | 指标与测试报告 | 算法/评测团队 |
| 合规(Compliance) | 是否满足外部法规要求 | 合规材料 | 法务/合规 |
| AI 治理 | 谁负责、按什么流程、留什么证据 | 制度、分级、审批记录 | 管理层牵头,全员执行 |
可以看到:治理是那层“壳”,对齐、评测、合规都是壳里的零件。外部监管细则各地不同、更新也快(例如欧盟的人工智能法案体系),具体要求以官方页面为准。
对普通人的意义
对工程师来说,落地动作很小:需求文档里加一节“风险与治理”,上线前问一句“这事出问题谁签字”。对不写代码的职场人来说,它决定了一件很实在的事——当你被 AI 系统拒绝贷款、刷掉简历时,公司能不能说清理由、拿得出记录。有治理的公司答得上来,没有的只能答“系统算的”。
