# Transformer のアーキテクチャ模式図 · Yila

> 横長の模式図で、左上に積み重なるエンコーダブロック、その隣に多頭注意機構をスケール化内積の中核まで開いた二つのパネル、右下に位置ごとのフィードフォワード層を配しています。手法の節や講義向けの大きさです。

URL: https://yila.ai/ja/templates/transformer-architecture-network-figure

全体から細部へと読み進める構成です。左上のエンコーダブロックは入力埋め込みと位置符号化が出会う地点から始まり、多頭自己注意、加算と正規化のノード、フィードフォワード層へ進み、反復を示す重ねカードの記号が添えられます。注意機構のパネルはそのブロックを開き、クエリ、キー、バリューがそれぞれ線形射影を経て、行列積、スケーリング、省略可能なマスク、正規化からなる中核に入り、各ヘッドの出力を連結して再度射影します。右下のパネルはフィードフォワード層を、活性化関数を挟む二つの線形層に展開します。

- **エンコーダブロック**: 埋め込み、注意、加算と正規化、フィードフォワードを下から積み上げ、反復の記号をブロックの上隅に置きます。
- **位置符号化の合流点**: 位置符号化が丸で囲んだ加算記号で入力埋め込みと合流し、矢印は上のブロックへ向かいます。
- **残差接続**: 各サブ層を迂回して加算ノードへ至る線です。幹線とは別の線種で描き、凡例で名前を与えます。
- **多頭注意のパネル**: ずらして重ねたカードがヘッドを表します。並びの両端に最初のヘッドと最後のヘッドのラベルを付けます。
- **クエリ・キー・バリューの射影**: 三つの線形射影を横並びにし、それぞれに対応する重み行列と次元の記号を添えます。
- **スケール化内積の中核**: 行列積、スケーリング、省略可能なマスク、正規化を一列に並べ、最後にバリューとの積で出力します。
- **連結と出力射影**: 各ヘッドの出力を一つにまとめ、最後の線形層にモデル次元の記号を書き添えます。
- **フィードフォワードのパネル**: 一つの活性化関数を挟む二層の線形変換です。選べる活性化関数を箱の横に括弧で示します。

- 論文の機序図, 講義資料, 審査会スライド, 研究室ウェブサイト

- **正規化の位置を明示する**: サブ層の後に正規化する方式と前に正規化する方式はどちらもよく使われます。図が描く方式は実装と一致させてください。食い違うと、図から組み直した人が別の構造を作ってしまいます。
- **マスクは常時ではない**: エンコーダの自己注意には通常、因果マスクを掛けません。中核に省略可能なマスクの箱が現れる場合は、デコーダ用かパディング用であることを明記します。
- **次元の記号をそろえる**: 射影、連結、出力層に付けた記号は互いに整合する必要があります。ヘッド数とヘッドごとの幅の積がモデル次元に等しいという関係は、図の説明に書く価値があります。
- **省いた部分を書き添える**: ここで開かれているのはエンコーダ側だけです。エンコーダ・デコーダ型ならデコーダと交差注意を加えるか、この図はエンコーダのみを示すと説明に明記してください。

## FAQ

### この図はそのまま論文に使えますか？

手法の節の下書きとしてお使いください。AI が生成したラスター画像なので、各ボックス内の綴り、矢印の向き、次元の記号を自分の実装と照合し、重複や余分なパネルをチャットで取り除いてから最終版として扱ってください。

### 図の中の要素は変更できますか？

要素ごとの編集はできませんが、Yila でチャットを続けて直せます。デコーダと交差注意を加える、正規化を各サブ層の前に移す、マスクの箱を外す、エンコーダブロックだけを残すといった説明から、新しい版を生成できます。

### どの形式で受け取れますか？

AI が生成した横長の PNG 画像で、手法の図、講義資料、審査会のスライドに向きます。ベクター画像ではないため、縮小するとボックス内の小さな文字がぼやけます。投稿時の寸法で確認してください。

### 利用に費用はかかりますか？

ページの閲覧とサンプルの確認は無料です。Yila で自分の版を生成するとクレジットを消費し、新規登録のアカウントには 2500 クレジットが付与されます。層の深さ、注意のパネル、フィードフォワード部分を何度か調整するには十分です。

### 画像モデルを扱っていますが、転用できますか？

できます。注意とフィードフォワードの骨格はそのままで、入力をパッチ埋め込みと説明し、構成に合う位置符号化を指定し、ブロックの外に分類ヘッドやデコード経路を加えてください。

### エンコーダブロックだけを残せますか？

左上のブロックだけを残し、注意とフィードフォワードの展開パネルを外すよう伝えてください。細長い図になるので、内部は本文で説明し、スライドや配布資料の隅に置く使い方に向きます。

---

- [Transformer のアーキテクチャ模式図](https://yila.ai/ja/templates/transformer-architecture-network-figure)
- [llms.txt](https://yila.ai/ja/llms.txt)
