# アダプタ付きデュアルストリームエンコーダのアーキテクチャ図 · Yila

> 2本のエンコーダのパイプラインが左から右へ並走し、各段の間にアダプタと融合ブロックが一つずつ挟まります。両者はデコーダに合流してセグメンテーションマスクを出し、下段の図が各モジュールの中身を展開します。深層学習論文の手法の全体図向けです。

URL: https://yila.ai/ja/templates/dual-stream-encoder-network-figure

図 a はデータの流れを示します。入力 A と入力 B はそれぞれ凍結と記されたエンコーダの段を順に通ります。各段では二つのストリームの間にアダプタと DAEM と記された融合ブロックが入り、二種類の入力が層ごとに特徴を交換します。両ストリームの最終段は縦長のデコーダに送られ、黒地に白の二値マスクが出力されます。図 b は等号を使って、エンコーダ、アダプタ、融合ブロック、デコーダを小さなブロックの並びに書き換え、融合ブロックの内部には残差の加算も描きます。読者は、どのパラメータが学習され、二つのストリームがどこで合流するかを理解できるはずです。

- **2つの入力**: 左端に入力 A と入力 B の小さな枠を置きます。完成版では RGB と深度のように実際のモダリティ名を書きます。
- **エンコーダの段**: 各ストリームに同じ幅の枠を並べ、水平の矢印で段から段へ渡します。枠内に各段の特徴マップのスケールを書けます。
- **アダプタ**: 各段の上にあるオレンジの小枠で、上側のストリームへ入力します。図 b では中央の一層だけが学習対象になっています。
- **DAEM 融合ブロック**: 緑の小枠で、下側のストリームへ入力します。略語の正式名称と役割は図の説明文に必ず書きます。
- **デコーダ**: 右側の縦長の枠で、両ストリームの最終段の出力を受け取ります。矢印は上下の端から入ります。
- **二値マスクの出力**: 黒地の白い塊がセグメンテーション結果を表します。横に予測タスクの名前と出力解像度を添えられます。
- **凍結と学習の凡例**: 青が凍結、ピンクが学習対象です。図で使うほかの色も、すべてこの凡例に加えます。
- **モジュール展開の図**: 図 b では各モジュールの後に等号と小さなブロックの列が続き、融合ブロックの下に残差の加算を描きます。

- 論文の機序図, 審査会スライド, 学会ポスター, 講義資料

- **色と学習の可否が一致しない**: 凡例には凍結と学習対象の二色しかないのに、入力の枠はピンク、アダプタと融合ブロックは凡例にないオレンジと緑で、デコーダは凍結と記されています。査読者はどのパラメータを学習したのかを正確に問うはずです。
- **融合は対称か**: アダプタは上側のストリームにだけ、融合ブロックは下側にだけ入力し、両者は双方向の矢印で結ばれています。この非対称が意図した設計なのかを説明しないと、片方向の描き忘れだと思われます。
- **デコーダへのスキップ接続がない**: セグメンテーションのデコーダは複数のエンコーダ段から特徴を受けるのが一般的ですが、この図は最終段しか使っていません。マルチスケールの特徴を使うモデルなら接続を描き足し、各階層のアップサンプリング方法を記します。
- **略語と段の詳細**: DAEM の正式名称がどこにもなく、各段の解像度も書かれていません。図から再構築できるよう、説明文にモジュールの正式名称とチャネル数またはダウンサンプリング率を書いてください。

## FAQ

### この構成図を論文にそのまま載せてよいですか？

全体図の第一稿としては使えます。AI が生成したラスター画像なので、色と学習の可否の対応、モジュールの略語、すべての矢印の向きをご自身のコードと照らし合わせてください。投稿に使うかどうかは、まず凡例を直してから判断するのが確実です。

### 図の中のモジュールは変更できますか？

要素ごとの編集はできませんが、Yila で対話を続けて手直しできます。エンコーダを三段にする、デコーダにスキップ接続を加える、融合ブロックをクロスアテンションに替える、凡例を四色に広げるといった指示を伝えると、新しい版が生成されます。

### 受け取れる形式は何ですか？

AI が生成した PNG 画像で、上下二つの図からなる 4:3 の横型です。ベクター画像ではなく、図 b の小さなブロックや省略記号は縮小すると互いに溶け合いやすいため、二段組みのページの実際の幅でプレビューしてください。

### お金はかかりますか？

このページとサンプルの閲覧には料金が発生しません。ご自身の構成図を Yila で生成するとクレジットを消費します。新しいアカウントには 2,500 クレジットが付与され、論文用の一枚を選ぶ前にモジュール配置や配色を何通りか試せます。

### 入力が一系統だけのモデルにも使えますか？

使えます。下側のパイプラインを外し、各段の横のアダプタをパラメータ効率の良いファインチューニングのプラグインとして残し、デコーダを一本のストリームにつなぐよう依頼してください。図 b のモジュール展開はそのまま残せます。

### デコーダをもっと詳しく描けますか？

対話で、デコーダを何段かのアップサンプリングブロックに分け、対応するエンコーダ段からスキップ接続を引くよう伝えてください。図が横に広がるので、図 b は追加や変更をしたモジュールだけを展開する形に絞り、新しい色が増えたら凡例も合わせます。

---

- [アダプタ付きデュアルストリームエンコーダのアーキテクチャ図](https://yila.ai/ja/templates/dual-stream-encoder-network-figure)
- [llms.txt](https://yila.ai/ja/llms.txt)
