# Transformer 아키텍처 모식도 · Yila

> 왼쪽 위에 쌓인 인코더 블록, 멀티헤드 어텐션을 스케일드 닷프로덕트 핵심까지 펼쳐 보이는 패널 두 개, 오른쪽 아래의 위치별 피드포워드 패널로 이루어진 가로형 모식도입니다. 방법 섹션이나 강의에 맞는 크기입니다.

URL: https://yila.ai/ko/templates/transformer-architecture-network-figure

그림은 전체에서 부분으로 나아갑니다. 왼쪽 위 인코더 블록은 입력 임베딩과 위치 인코딩이 만나는 곳에서 시작해 멀티헤드 셀프 어텐션, add & norm 노드, 피드포워드 네트워크를 지나며, 카드를 겹친 표시로 반복을 나타냅니다. 어텐션 패널은 그 블록을 열어 보입니다. 쿼리, 키, 밸류가 각자 선형 투영을 거쳐 행렬 곱, 스케일링, 선택적 마스크, 정규화로 이루어진 스케일드 닷프로덕트 핵심에 들어가고, 그 뒤 헤드들을 이어 붙여 한 번 더 투영합니다. 오른쪽 아래 패널은 피드포워드 네트워크를 활성화 함수 하나를 사이에 둔 선형층 두 개로 펼치며, 선 굵기와 적은 색이 위계를 맡습니다.

- **인코더 블록**: 임베딩, 어텐션, add & norm, 피드포워드를 아래에서 위로 쌓고, 반복 표시는 블록 위쪽 모서리에 둡니다.
- **위치 인코딩 입구**: 위치 인코딩이 원 안의 덧셈 기호에서 입력 임베딩과 합쳐지고, 화살표가 위쪽 블록으로 올라갑니다.
- **잔차 연결**: 각 하위층을 건너뛰어 add 노드로 가는 선으로, 범례에서 본선과 구분해 이름 붙인 선 모양으로 그립니다.
- **멀티헤드 패널**: 헤드를 나타내는 엇갈려 겹친 카드들로, 묶음 양 끝의 첫 카드와 마지막 카드에 라벨을 붙입니다.
- **쿼리·키·밸류 투영**: 선형 투영 세 개를 나란히 두고, 각각에 자기 가중치 행렬과 그에 해당하는 차원 기호를 붙입니다.
- **스케일드 닷프로덕트 핵심**: 행렬 곱, 스케일링, 선택적 마스크, 정규화를 한 열에 두고, 마지막에 밸류와의 곱으로 끝냅니다.
- **이어 붙이기와 투영**: 헤드 출력을 하나의 텐서로 합친 뒤, 모델 차원을 적은 마지막 선형층으로 보냅니다.
- **피드포워드 패널**: 활성화 함수 하나를 가운데 둔 선형층 두 개로, 상자 옆 괄호 안에 활성화 함수 선택지를 적습니다.

- 논문 메커니즘 그림, 강의 자료, 학위 심사 발표, 연구실 웹사이트

- **정규화 위치를 밝히세요**: 하위층 뒤에 정규화하는 방식과 앞에 정규화하는 방식은 모두 흔히 쓰입니다. 모식도가 어느 쪽을 그리든 코드와 일치해야 하며, 그렇지 않으면 그림을 보고 모델을 다시 만드는 사람이 블록을 잘못 조립합니다.
- **마스크는 기본값이 아닙니다**: 인코더 셀프 어텐션에는 보통 인과 마스크가 없습니다. 핵심 열에 선택적 마스크 상자가 보인다면, 그것이 모든 층에서 미래 위치를 가리는 것이 아니라 디코더나 패딩에 속한다고 적어 두세요.
- **차원을 일관되게**: 투영, 이어 붙이기, 출력층에 적힌 기호가 모두 맞아야 하며, 헤드 수와 헤드당 폭의 곱이 모델 차원과 같아야 합니다. 이 관계는 그림 설명에 적어 둘 만합니다.
- **빠진 부분을 밝히세요**: 여기서는 인코더 쪽만 펼쳐져 있습니다. 인코더-디코더 모델이라면 디코더와 교차 어텐션을 더하거나, 이 그림이 인코더만 보여 준다고 그림 설명에 분명히 적으세요.

## FAQ

### 논문에 바로 넣어도 되나요?

방법 섹션의 초안으로 쓰세요. AI가 생성한 래스터 이미지이므로 상자 안 철자, 화살표 방향, 차원 기호를 코드와 대조하고, 최종본으로 삼기 전에 중복되거나 불필요한 패널을 대화로 지워 달라고 하세요.

### 그림 속 요소를 바꿀 수 있나요?

요소별로 편집할 수는 없지만 Yila와 대화하며 계속 다듬을 수 있습니다. 디코더와 교차 어텐션을 더하거나, 정규화를 각 하위층 앞으로 옮기거나, 마스크 상자를 빼거나, 인코더 블록만 남긴 뒤 그 설명으로 새 버전을 생성하세요.

### 어떤 형식으로 받나요?

가로형 AI 생성 PNG 이미지로, 방법 그림, 강의 자료, 심사 발표 슬라이드에 어울립니다. 벡터 그래픽이 아니므로 그림을 줄이면 상자 안의 작은 글자가 흐려지니 투고할 크기에서 확인하세요.

### 무료인가요?

페이지를 살펴보고 샘플을 확인하는 데는 돈이 들지 않습니다. 나만의 버전을 Yila에서 생성하면 크레딧이 차감되며, 새 계정이 받는 2,500크레딧으로 모델 깊이, 어텐션 패널, 피드포워드 블록을 여러 번 조정해 볼 수 있습니다.

### 비전 모델을 연구하는데 바꿔 쓸 수 있나요?

네. 어텐션과 피드포워드는 모양이 그대로입니다. 입력을 패치 임베딩으로 설명하고 설정에 맞는 위치 인코딩을 요청한 뒤, 블록 바깥에 분류 헤드나 디코딩 경로를 더하세요.

### 인코더 블록만 남길 수 있나요?

어텐션과 피드포워드 패널 없이 왼쪽 위 블록만 달라고 요청하세요. 폭이 좁은 결과물은 내부 구조를 본문에서 설명하는 슬라이드나 강의 자료의 한쪽 구석에 들어갑니다.

---

- [Transformer 아키텍처 모식도](https://yila.ai/ko/templates/transformer-architecture-network-figure)
- [llms.txt](https://yila.ai/ko/llms.txt)
