# Transformer 架构示意图 · Yila

> 一张横版架构图，左上画堆叠的编码器块，旁边两个面板把多头注意力逐层拆开到缩放点积内部，右下单独放逐位置前馈网络，适合论文方法节和课程讲义。

URL: https://yila.ai/zh/templates/transformer-architecture-network-figure

读图顺序是先整体后局部：左上的编码器块从输入嵌入与位置编码相加开始，经多头自注意力、残差相加与归一化进入前馈网络，右上的叠层符号表示重复堆叠。另两个面板把注意力拆开，查询、键、值各走一次线性投影，进入矩阵乘、缩放、掩码与归一化，多头结果拼接后再投影；右下展开前馈的两层线性变换。

- **编码器块**: 自下而上串起输入嵌入、注意力、相加归一化与前馈，右上用叠层符号标明重复次数。
- **位置编码入口**: 位置编码以圆形加号与输入嵌入汇合，箭头方向必须朝上进入块内。
- **残差连接**: 从块输入绕过子层接到相加节点，用与主干不同的线型画出并在图例说明。
- **多头注意力面板**: 多头以错开的卡片堆叠表示，首尾两张分别标出第一个头和最后一个头。
- **查询键值投影**: 三条线性投影并排进入注意力，各自标注对应的权重矩阵与维度符号。
- **缩放点积内部**: 矩阵乘、缩放、可选掩码与归一化按一列排好，最后与值矩阵相乘输出。
- **拼接与输出投影**: 各头输出先拼接再过一次线性层，输出端标上模型维度符号。
- **逐位置前馈面板**: 两层线性变换夹一个激活函数，并在括号里写明可选的激活类型。

- 论文机制图, 课程讲义, 答辩 PPT, 实验室网站

- **归一化的位置要说清**: 子层之后归一化还是子层之前归一化，是两种常见实现，图里画的那一种必须与你的代码一致，否则复现的人会按图搭错结构。
- **掩码别默认打开**: 编码器自注意力通常不加因果掩码，图里把掩码画成可选框时要注明它属于解码器或填充掩码，免得读者以为每层都在遮挡未来位置。
- **维度符号前后一致**: 查询键值投影、拼接与输出投影上的维度符号要互相对得上，头数与每个头的维度相乘应等于模型维度，这一关系最好写在图注里。
- **只画编码器要讲明**: 图里展开的是编码器一侧，若你的模型含解码器或交叉注意力，要么补画，要么在图注里写清这里只呈现编码器部分。

## FAQ

### 这张图能直接放进论文吗？

可以先当方法节的示意草图。它是 AI 生成的位图，定稿前要核对每个框的名称拼写、箭头方向与维度符号，必要时在对话里把重复或多余的面板去掉再重新生成。

### 能不能改图里的元素？

不能逐元素编辑，但可以在 Yila 里继续对话修改：补上解码器与交叉注意力、把归一化挪到子层之前、去掉掩码框，或只保留编码器块这一个面板，再生成新的一版。

### 输出什么格式？

输出 AI 生成的 PNG 图片，横版构图，适合方法节配图、讲义和答辩幻灯片。它不是矢量图，框内小字缩印后容易发虚，定稿前请按投稿尺寸检查一遍。

### 生成要花钱吗？

浏览页面和看示例图不花钱，在 Yila 里生成会消耗积分；新注册账号会获得 2500 积分，足够把层数、注意力面板和前馈部分按自己的模型反复调整几轮。

### 我要画的是视觉模型，能改吗？

可以。注意力与前馈的骨架不变，把输入嵌入换成图块嵌入、位置编码换成对应的二维形式，并在块外补上分类头或解码路径即可。

### 能不能只要编码器块那一块？

可以，在对话里说明只保留左上的块结构、去掉注意力与前馈的展开面板，得到的单栏窄图更适合放在讲义或幻灯片的一角。

---

- [Transformer 架构示意图](https://yila.ai/zh/templates/transformer-architecture-network-figure)
- [llms.txt](https://yila.ai/zh/llms.txt)
