GPT 是 Generative Pre-trained Transformer 的缩写。这三个词分别回答三个不同的问题：输出什么？怎么训练？用什么结构？ 拆开来看，比把它们当一个名词背下来有用得多。
G：Generative，生成式，指的是输出形式
生成式模型输出的是新内容，一段文字、一段代码、一段话。跟它相对的是判别式模型（discriminative model），输出的是判断，比如“这封邮件是不是垃圾邮件”“这个用户会不会流失”。
打个比方：判别式模型像门口的门卫，只回答“能进”或“不能进”；生成式模型像坐在你旁边的作者，你写半句，它接着往下写。GPT 做的就是后面这件事：给定前文，预测下一个词（token），然后把预测出的词接上去，再预测下一个，循环往复。
要留意，“生成”只说明输出形式，不说明对错。它给的是“最像人话的续写”，并非“核实过的答案”，这也解释了为什么它会一本正经地编造事实。
P：Pre-trained，预训练，指的是训练方式
预训练指先在大量通用文本上做一轮“自学”：遮住后文，让模型猜下一个词，猜错就调整参数。这个过程不需要人工逐条标注，属于AI 词典：自监督学习">自监督学习（self-supervised learning）。
比方说，一个人上岗前先把图书馆的书通读了一遍，没人给他出题，他靠“猜下一句”练出了语感。之后才轮到微调（fine-tuning）或基于人类反馈的强化学习（RLHF），把它调教成听得懂指令、答得体的助手。
所以“预训练”包含两层意思：一是“先通用、后专用”；二是知识有截止时间，训练语料之后发生的事，它并不知道。
T：Transformer，指的是网络结构
Transformer 的核心是自注意力机制（self-attention）：处理某个词时，同时看上下文里所有的词，并按相关程度给它们分配不同权重。
比方说，早期的循环神经网络（RNN）像传话游戏，信息一个接一个往后传，链条一长就走样；Transformer 像开圆桌会议，每个词一眼扫过全场，自己判断该重点听谁的。这样做的好处是便于并行计算，也更容易抓住长距离关系：句子里的“它”指代前面哪个人，模型能直接对上，不必依赖信息一层层传下来。
三个词的分工，可以这样对照：
| 字母 | 英文 | 回答的问题 | 一句话理解 |
|---|---|---|---|
| G | Generative | 输出什么 | 接着往下写，而不是打分 |
| P | Pre-trained | 怎么练出来的 | 先通读，再专项调教 |
| T | Transformer | 用什么结构 | 圆桌会议式的注意力 |
这对你意味着什么
做技术选型时，这三个词是三条独立的评估轴：生成能力决定它能不能直接产出可用内容；预训练语料决定它的知识面和知识边界；网络结构影响上下文长度、推理成本与部署方式。
普通职场人记住三条就够：它擅长续写，所以要给它足够的上下文和明确的格式要求；它的知识有保质期，涉及事实的部分自己核一遍；它按概率输出，读着通顺不等于正确。具体能力范围与定价，以官方页面为准。