컴퓨터 언어학 - 인공신경망과 언어 모델의 진화 — RNN에서 Transformer까지

 

 

Computational Linguistics · Part 3-1

From RNN to Transformer — The Architecture Revolution

RNN의 기억,
Transformer의 주의

인공신경망과 언어 모델의 진화 — RNN에서 Transformer까지

 

MisoEnglish · Michelle Kim Series #CL-06 읽는 시간 약 12분

"Attention is all you need."

— Vaswani et al., Google Brain (2017) · 트랜스포머를 제안한 논문의 제목
딥러닝 역사상 가장 영향력 있는 논문 중 하나. 이 한 문장이 GPT, Claude, BERT의 탄생을 이끌었습니다.

Word2Vec이 단어를 벡터로 표현하는 방법을 알아냈다면, 다음 과제는 그 벡터들을 순서대로 처리해 문장 전체의 의미를 파악하는 것입니다. "나는 어제 서울에서 친구를 만났다"—이 문장을 이해하려면 단어 하나하나가 아니라 순서와 맥락을 함께 처리해야 합니다.

이 문제를 풀기 위해 등장한 것이 순환 신경망(RNN)이고, 그 한계를 단번에 뛰어넘은 것이 트랜스포머(Transformer)입니다. 오늘은 그 혁명의 과정을 따라갑니다.

01  순환 신경망 — RNN과 기억의 문제

순환 신경망 (RNN, Recurrent Neural Network)은 텍스트를 왼쪽에서 오른쪽으로 한 단어씩 읽으면서, 이전 단어들의 정보를 은닉 상태 (Hidden State)라는 메모리에 누적합니다. 마치 책을 읽으면서 앞 내용을 기억하며 다음 페이지로 넘어가는 것과 같습니다.

RNN 처리 흐름 — "The cat sat on the mat."

t=1

The

↓

h₁

→

t=2

cat

↓

h₂

→

t=3

sat

↓

h₃

→

t=4

on

↓

h₄

→

t=5

mat

↓

h₅

각 단계의 은닉 상태(h)는 이전 모든 단어의 정보를 누적합니다. 하지만 문장이 길어질수록 초반 단어의 정보는 희미해집니다—이것이 장기 의존성 문제입니다.

02  LSTM — 기억을 선택하는 법

RNN의 기억 소실 문제를 해결하기 위해 1997년 LSTM (Long Short-Term Memory)이 등장합니다. LSTM의 핵심 아이디어는 "모든 것을 기억하는 대신, 중요한 것만 선택적으로 기억하라"입니다.

🗑

Forget Gate

불필요한 정보를 삭제합니다. "이전 문맥은 이제 필요 없다"고 판단하면 지웁니다.

📥

Input Gate

새로운 정보 중 중요한 것을 선택해 기억에 추가합니다.

📤

Output Gate

현재 단계에서 출력할 정보를 결정합니다.

LSTM은 기계번역, 음성인식 등에서 큰 성과를 거뒀습니다. 하지만 여전히 순차적(sequential) 처리 방식을 벗어나지 못했습니다. 문장이 길어질수록 계산이 느려지고, 병렬 처리가 불가능하다는 근본적 한계가 남아 있었습니다.

03  트랜스포머의 등장 — Attention Is All You Need

2017년 구글 브레인 팀은 논문 한 편으로 NLP의 판도를 뒤집었습니다. 핵심 제안은 단순했습니다. "순서대로 처리하지 말고, 모든 단어를 동시에 보면서 서로의 관계에 집중하라." 이것이 자기 주의 메커니즘 (Self-Attention Mechanism)입니다.

Self-Attention 개념 — "The animal didn't cross the street because it was too tired."

이 문장에서 "it"은 무엇을 가리킬까요? "animal"일까요, "street"일까요? 인간은 "tired"라는 단어 덕분에 직관적으로 "animal"임을 압니다.

"it"이 각 단어에 기울이는 주의(attention) 가중치

animal

 

0.78

tired

 

0.55

cross

 

0.18

street

 

0.08

* 개념 설명용 예시 수치입니다. 트랜스포머는 "it"이 "animal"과 가장 강하게 연관됨을 학습합니다.

04  RNN vs Transformer — 결정적 차이

구분	RNN / LSTM	Transformer
처리 방식	순차적 (왼→오)	병렬 (전체 동시)
장거리 의존성	거리가 멀면 약해짐	거리에 무관하게 직접 연결
학습 속도	느림 (순서 의존)	빠름 (GPU 병렬화)
핵심 메커니즘	은닉 상태 (Hidden State)	자기 주의 (Self-Attention)
대표 모델	seq2seq, Google NMT	BERT, GPT, Claude

05  트랜스포머의 구조 — Encoder & Decoder

원래 트랜스포머는 기계번역을 위해 설계되어 인코더(Encoder)와 디코더(Decoder) 두 부분으로 구성됩니다. 이 구조가 어떻게 활용되느냐에 따라 BERT와 GPT라는 두 갈래 모델이 탄생합니다.

인코더 Encoder

입력 → 이해

입력 문장 전체를 동시에 읽고 각 토큰의 문맥적 의미를 계산합니다. 양방향으로 모든 단어를 참조합니다.

대표 모델: BERT
활용: 텍스트 분류, NER, Q&A

디코더 Decoder

이해 → 생성

이미 생성된 토큰들을 바탕으로 다음 토큰을 예측합니다. 왼쪽(과거)만 참조하는 단방향 구조입니다.

대표 모델: GPT, Claude
활용: 텍스트 생성, 번역, 대화

🔗 영어 학습자를 위한 연결고리

트랜스포머의 Self-Attention은 사실 능숙한 독자가 텍스트를 읽는 방식과 닮아 있습니다. 영어 고수는 "it"을 읽을 때 문장 전체를 한번에 훑으며 가장 적절한 선행사를 찾습니다. 반면 초보자는 단어 하나하나를 순서대로 처리합니다—마치 초기 RNN처럼요. 영어 독해 실력을 키운다는 것은 곧 더 넓은 문맥을 한번에 처리하는 "attention 범위"를 넓히는 과정입니다.

RNN은 기억으로 언어를 읽으려 했고,
Transformer는 주의(attention)로 언어를 이해하려 했습니다.
그리고 그 주의가 거대해졌을 때—
비로소 GPT와 Claude가 탄생했습니다.

다음 편에서는 트랜스포머 위에 세워진 거대 언어 모델 (LLM)이 어떻게 인간처럼 글을 쓰고 대화하게 되었는지—그 원리를 파헤칩니다.

Next Episode · CL-07

3부 2편: 우리가 매일 쓰는 LLM의 원리

→

© MisoEnglish · Michelle Kim  |  Computational Linguistics Series · CL-06