一句话定义
红队测试（Red Teaming）就是请一队“合法攻击者”，主动用恶意、边缘、诱导性的输入去攻击 AI 模型，提前找出它在安全、偏见、隐私和滥用方面的漏洞，然后把问题交给开发团队修复。
它是怎么做的
打个比方：新楼交付前，物业不会只检查“门能不能正常开”，还会请一支找茬工程队，专门踹门、撬锁、爬管道、翻窗户。红队测试就是 AI 世界的找茬工程队。
常见做法包括：设定目标，比如找越狱（jailbreak）、提示注入（prompt injection）、歧视性输出、隐私泄露等；设计攻击，比如角色扮演、多轮诱导、编码绕过、上下文污染、工具调用滥用；记录模型原话和复现步骤；按严重程度分级；修复后复测。人工红队擅长创造性攻击，自动化红队（automated red teaming）则能批量扩大覆盖。
和相邻概念的区别
| 概念 | 关注点 | 典型问题 |
|---|---|---|
| 功能测试 | 正常输入能否得到正常输出 | 这个功能能不能用 |
| 红队测试 | 恶意输入会不会造成坏输出 | 能不能被诱导做坏事 |
| 渗透测试 | 系统、网络、应用的安全边界 | 能不能打穿服务器 |
| 防护栏（guardrails） | 修复和拦截风险 | 怎么阻止坏输出 |
简单说，功能测试验证“系统能工作”，红队测试验证“系统被攻击时会怎样失败”。渗透测试更偏传统 IT 安全，AI 红队更关注模型行为、内容安全、偏见和滥用。防护栏（guardrails）和对齐（alignment）是修问题，红队是找问题。
对从业者和普通人的意义
对 AI 从业者，红队测试应在上线前、模型更新后、接入新工具或插件时反复做。关键不是“跑一遍”，而是建立闭环：攻击清单、复现记录、严重等级、修复责任人和复测结果。提示注入、越狱、数据泄露、工具滥用，都是常见重点。
对普通职场人，你用的客服机器人、写作助手、招聘筛选或风控模型，背后都应该经过这类对抗测试。红队不能保证 100% 安全，只能降低风险；具体合规要求以官方页面为准。