跳到主内容
快讯直播
AI智模界
AI 词典

强化学习:不教答案,只发奖励

一句话定义:强化学习(Reinforcement Learning,RL)是让一个「智能体」(agent)在环境里反复尝试动作,根据每次结果拿到的好坏分数(奖励,reward),自己摸索出该怎么做的一类机器学习方法。

它和监督学习(supervised learning)最根本的差别是:没有标准答案。监督学习像做带答案的练习册——输入一张图,标签写着「猫」,模型照着调。强化学习更像下完一整盘棋才被告知输赢:中间哪一步走错了、错了几分,没人告诉你,你得自己回头琢磨。

打个生活化的比方:教小狗「坐下」。你不会跟它讲膝关节该弯多少度,你只说「坐」,它乱动,某次屁股偶然着地,你给块零食。反复几次,它就学会了。零食是奖励,屁股着地是动作,「听到坐就屁股着地」这套反应就是它学到的策略(policy)。整个过程里,你从没描述过正确答案,只给了评价。

这带来几个真实难点:

  • 延迟奖励:一盘棋几十步,只有最后输赢一个信号,得自己判断哪几步有功、哪几步拖后腿,这叫信用分配(credit assignment)。
  • 稀疏反馈:很多任务里大部分尝试都是零分,偶尔才有一次正反馈,学起来很慢。
  • 探索与利用(exploration vs exploitation):一直用已知的好招,可能错过更好的;一直乱试,又浪费机会。这个张力是 RL 的核心难题。

和相邻概念摆在一起看更清楚:

监督学习无监督学习强化学习
喂进去什么输入 + 标准答案只有数据只有奖励分数
反馈时机每步立刻给没有反馈常常延迟、稀疏
典型目标拟合输入到答案的映射找数据里的结构最大化长期累计奖励

对从业者的意义:大模型对齐中的 RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)就是这套思路——人类不直接写「标准回复」,只对若干候选回复排序,训练出一个会打分的「评委」,再用强化学习把模型往高分方向推。推荐出价、机器人控制、下棋程序也都靠它。具体算法实现与参数,以对应框架和产品的官方页面为准。

对普通人的意义:强化学习最值得借鉴的一句话是——你考核什么,就会得到什么。奖励设计错了,模型会钻空子刷分而不管真实目标,这在业内叫奖励黑客(reward hacking)。换成职场语言:KPI 只看点击率,就会长出标题党;只看代码行数,就会长出没人维护的冗长代码。想让系统做出对的行为,先想清楚你真正想奖励的到底是什么。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。