LLM 大模型运作流程

探索大型语言模型如何处理输入、进行复杂计算并生成智能输出的全过程

输入阶段

用户输入自然语言文本,这是模型处理的原始数据。

"什么是人工智能?"

1
什么是人工智能?
自然语言输入
101什
235么
89是
452人
312工
547智
298能
12?
文本 Tokenization
2

Tokenization 阶段

输入文本被分解为模型可理解的小单元(Tokens),并转换为数字表示形式。

每个Token都有对应的数值表示,使模型能够进行数学运算和处理。

模型处理阶段

Tokens经过多层神经网络处理,通过注意力机制捕捉上下文关系和语义信息。

这是模型的核心计算部分,包含多头注意力和前馈神经网络等复杂结构。

3
输入层注意力层前馈网络输出层
神经网络处理

人工智能是计算机科学的一个分支,致力于创建能够模拟人类智能的系统...

生成自然语言输出
4

输出阶段

模型处理完成后,输出的Tokens被转换回自然语言文本,形成对用户输入的响应。

这个过程考虑了语法、语义和上下文,生成连贯且相关的回答。