Home/AI 基础概念/大语言模型是怎么工作的？

大语言模型是怎么工作的？

深入理解 LLM 的训练和推理过程

LLM 的训练过程

大语言模型的训练可以简化为三个阶段。每个阶段解决不同的问题。

选择阶段查看详情

预训练

让模型阅读互联网上海量的文本数据，训练目标很简单：预测下一个词。比如给它"今天天气真"，它要学会预测下一个词可能是"好"。这个阶段需要数千张 GPU 训练数周。

训练流程（点击节点查看详情）

💡Claude 就是通过这三个阶段训练出来的。Anthropic 特别强调 RLHF 阶段中的安全对齐，这是 Claude 区别于其他模型的关键。