多智能体强化学习（MARL，Multi-Agent Reinforcement Learning）是让多个会学习的决策者（智能体，agent）在同一个环境里同时探索、同时更新策略的强化学习分支。
难点在于环境会“跟着别人动”
单智能体 RL 里，环境也可能随机，但随机方式是稳定的：今天学到的经验，明天大致还管用。
打个比方：一个人练投篮，篮筐高度、球的弹性都不变，练准就行。换成五个人在同一块场地抢球，情况就变了——你的“环境”里有一部分是别人，而别人也在改打法。昨天练成的过人动作，今天对手已经提前卡位。
这就是非平稳性（non-stationarity）。对每个智能体来说，环境里包含其他智能体的策略；别人一更新，状态转移和回报的分布就变了。后果是：旧数据可能过期，刚学会的好策略随时失效，每个个体看起来都在改进，整体却可能原地打转甚至来回震荡。
另外两个难点：一是信用分配（credit assignment），团队赢了到底是哪一步、哪个人起了作用，回报要穿过很多步和很多队友才能归因；二是合作与竞争的混合，纯竞争要预测对手，纯合作要防“搭便车”，现实中往往二者并存。
和相邻概念的区别
| 对比项 | 单智能体 RL | 多智能体 RL |
|---|---|---|
| 环境对个体 | 平稳 | 非平稳，他人策略持续变化 |
| 学习目标 | 最大化自身长期回报 | 找均衡（如纳什均衡），常需兼顾团队与对手 |
| 主要难题 | 探索与利用 | 非平稳、信用分配、协调 |
| 典型场景 | 机器人抓取、单机游戏 | 多机器人协作、交通信号协同、竞价、对抗对局 |
它与博弈论不同：博弈论常假定收益已知、主体理性，MARL 是从试错中学出策略；它与模仿学习不同：后者跟着示范数据学，不必反复与环境交互。
实际意义
只要系统里不止一个“会自己学习的决策者”，就会撞上非平稳问题：多机器人仓库调度、路口信号灯协同、自动驾驶并道博弈、广告竞价、电网调峰。常见应对思路是让别人的行为更可预测——共享信息、集中训练分散执行、加入对手建模、分阶段更新等，但都不是银弹。具体框架的支持情况以官方页面为准。
对普通职场人也是个提醒：多个团队各自优化自己的 KPI 时，彼此的“最优解”会互相抵消，甚至来回震荡。这时的瓶颈常常不在模型，而在规则与激励的设计。