跳到主内容
快讯直播
AI智模界
AI 词典

复制机制(Copy Mechanism):该抄的时候就抄

复制机制(Copy Mechanism)是一种让生成模型在输出时直接把输入原文里的词“搬”过来的设计。它把“从词表里挑一个词”和“从原文里抄一个词”放进同一个概率分布,让模型自己决定这一步该写还是该抄。

传统的序列到序列模型(seq2seq)每一步解码,都是从一张固定词表 V 里做 softmax 选词。词表外的词就是未登录词(Out-of-Vocabulary,OOV):输入里出现了“王骞”这个人名或某个新药代号,模型只能生成 <unk>,或者勉强拼出一个近似词。复制机制把候选集合从 V 扩成 V ∪ X,其中 X 是当前输入中实际出现过的词。打分走两路:生成分支用输出层的 softmax 分数;复制分支直接借用注意力权重,把注意力落在原文第 i 个词上的值当作“抄这个词”的分数。两路分数在同一套归一化里比较,谁高听谁。CopyNet 一类做法还会维护一个“复制模式”的隐状态,让模型记得自己刚才是不是在抄。

打个比方:新人写会议纪要,只会用自己的话重述,碰到人名就写成“某位同事”,碰到订单号就写“一串数字”。老手会直接把名字、金额、单号原样抄进纪要,其余部分照常归纳。复制机制就是给模型装上“照抄”这个动作,并且训练它判断哪里该照抄。

更常见的工程形态是指针生成网络(Pointer-Generator Network):额外输出一个门控 p_gen,控制这一步偏生成还是偏复制。做摘要时效果很直观:原文里的公司名、日期、数字被保留,其余内容被压缩改写。

概念输出什么典型场景
复制机制生成词与输入词的混合分布摘要、翻译中的实体与术语保留
指针网络(Pointer Network)只输出输入序列中的位置下标排序、凸包、抽取式片段定位
纯生成模型只从固定词表生成通用改写、自由创作

要注意,指针网络输出的是“位置”,复制机制输出的是“词本身”,后者可以和生成自由混合;它也和检索(retrieval)不同,抄的是当前这条输入,不是外部知识库。

对做产品的人,这个机制的现实意义在两处:一是缓解未登录词,翻译人名地名、合同编号、专有术语时不再被词表卡住;二是抑制事实漂移,数字、日期、引用原样搬运,比让模型重新措辞可靠得多。大模型时代词表变大、子词切分变细,OOV 的紧迫性下降了,但“关键字段别改写”的需求没消失:结构化抽取要求输出原文片段,RAG 要求答案附带原文引文,Agent 把工具返回结果直接拼进回复,都是同一思路的延伸。

它也有边界:复制机制不判断该不该抄,原文写错了它照抄不误;输入里没有的东西,它也抄不出来。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。