컴퓨터 언어학 - 우리가 매일 쓰는 LLM(Large Language Model)의 원리

 

 

Computational Linguistics · Part 3-2

How Large Language Models Actually Work

GPT와 Claude는
어떻게 말을 배웠는가

우리가 매일 쓰는 LLM(Large Language Model)의 원리

 

MisoEnglish · Michelle Kim Series #CL-07 읽는 시간 약 13분

"A language model is a probability distribution over sequences of words."

— 언어 모델의 정의
GPT든 Claude든, 그 본질은 "다음에 올 가장 그럴듯한 단어(토큰)를 예측하는 확률 모델"입니다. 그런데 이 단순한 원리가 어떻게 시, 코드, 번역, 논문 요약까지 해내게 되었을까요?

ChatGPT가 처음 등장했을 때 많은 사람들이 물었습니다. "이 AI는 정말 '이해'하는 건가요, 아니면 그냥 그럴듯한 말을 만들어내는 건가요?" 이 질문에 답하려면 LLM이 어떻게 만들어지고, 어떻게 작동하는지 알아야 합니다.

오늘은 GPT, Claude 같은 거대 언어 모델의 탄생부터 작동 원리까지, 그 전체 여정을 따라갑니다.

01  LLM이란 무엇인가 — Scale Changes Everything

거대 언어 모델 (LLM, Large Language Model)은 트랜스포머 구조를 기반으로, 상상을 초월하는 규모의 데이터와 파라미터로 학습된 언어 모델입니다. "거대(Large)"라는 단어가 핵심입니다.

언어 모델의 규모 진화

GPT-1 (2018)

 

1.17억 파라미터

GPT-2 (2019)

 

15억 파라미터

GPT-3 (2020)

 

1,750억 파라미터

GPT-4 (2023~)

 

추정 수 조 파라미터

파라미터(parameter)는 모델이 학습을 통해 조정하는 수치들입니다. 인간 뇌의 시냅스 연결에 비유할 수 있으며, 파라미터 수가 많을수록 더 복잡한 패턴을 학습할 수 있습니다.

02  Pre-training — 세상의 모든 텍스트를 읽다

LLM 탄생의 첫 단계는 사전 학습 (Pre-training)입니다. 수천억 개의 웹 페이지, 책, 위키피디아, 코드, 논문— 인터넷에 존재하는 방대한 텍스트를 학습 데이터로 사용합니다.

CLM · Causal Language Modeling

GPT 계열 · 다음 토큰 예측

"나는 오늘 ___"처럼 앞의 토큰을 보고 다음 토큰을 예측하는 방식으로 학습합니다. 텍스트 생성에 최적화.

The cat sat on the mat

MLM · Masked Language Modeling

BERT 계열 · 빈칸 채우기

문장 중간의 단어를 [MASK]로 가리고 양쪽 문맥을 모두 보고 맞추는 방식. 텍스트 이해에 최적화.

The cat [MASK] on the mat

사전 학습은 수주에서 수개월, 수천 개의 GPU를 동원하는 엄청난 작업입니다. 이 과정에서 모델은 언어의 문법, 사실 관계, 추론 패턴, 심지어 유머 감각까지 흡수합니다. 하지만 이 단계의 모델은 아직 "대화 상대"가 아닙니다.

03  Fine-tuning & RLHF — 대화하는 AI로 다듬기

사전 학습을 마친 모델은 방대한 지식을 가졌지만 지시를 따르거나 안전하게 대화하는 능력이 부족합니다. 이를 해결하는 두 번째 단계가 파인튜닝 (Fine-tuning)과 RLHF (Reinforcement Learning from Human Feedback)입니다.

STEP 1

지도 학습 파인튜닝 SFT

인간 전문가가 작성한 고품질 질문-답변 쌍으로 모델을 추가 학습. 지시를 따르는 능력을 심어줍니다.

↓

STEP 2

보상 모델 학습 Reward Model

동일한 질문에 대한 여러 답변을 인간 평가자가 순위를 매깁니다. 이 선호 데이터로 "좋은 답변"을 판별하는 보상 모델을 훈련합니다.

↓

STEP 3

강화 학습 PPO

보상 모델의 피드백을 바탕으로 강화 학습을 통해 모델을 개선합니다. 더 유용하고, 안전하며, 정직한 답변을 생성하도록 조정됩니다.

04  텍스트 생성의 원리 — Token by Token

완성된 LLM이 실제로 텍스트를 생성하는 방식은 놀랍도록 단순합니다. 한 번에 토큰 하나씩, 확률에 따라 선택합니다.

토큰 생성 과정 — "파리는 프랑스의 ___"

수도

 

88%

최대 도시

 

7%

관광 명소

 

3%

기타

 

2%

→ "수도"가 선택됩니다. 이제 "파리는 프랑스의 수도"가 새로운 입력이 되어 다음 토큰("입니다", "이며" 등)을 예측하는 과정을 반복합니다. 이것이 LLM이 글을 쓰는 전부입니다.

Temperature — 창의성의 온도

낮은 Temperature (≈ 0)

항상 가장 확률 높은 토큰 선택. 일관되고 예측 가능한 답변. 사실 확인, 번역에 적합.

높은 Temperature (≈ 1+)

낮은 확률의 토큰도 선택될 수 있음. 다양하고 창의적인 답변. 창작, 브레인스토밍에 적합.

05  GPT vs Claude — 철학의 차이

GPT(OpenAI)와 Claude(Anthropic)는 모두 트랜스포머 기반 LLM이지만, 훈련 철학과 안전 접근법에서 차이가 있습니다.

GPT (OpenAI)

Generative Pre-trained Transformer

• RLHF 기반 정렬
• 범용 능력 극대화
• GPT-4o, o1 등 멀티모달 확장
• ChatGPT를 통해 대중화

Claude (Anthropic)

Constitutional AI · 헌법적 AI

• Constitutional AI 방법론
• 안전성·정직성·무해성 중시
• 긴 컨텍스트 처리 강점
• AI 안전 연구 병행 개발

Constitutional AI란?

Anthropic이 개발한 Claude의 훈련 방식입니다. 인간 피드백만이 아니라, AI 스스로 윤리적 원칙("헌법")에 따라 자신의 답변을 비판하고 수정하는 과정을 거칩니다. "유용하고(Helpful), 무해하며(Harmless), 정직한(Honest)"— 이른바 HHH 원칙이 Claude 설계의 핵심입니다.

🔗 영어 학습자를 위한 연결고리

LLM의 작동 원리를 알면 AI 영어 도구를 훨씬 더 잘 활용할 수 있습니다. 예를 들어, Claude나 ChatGPT에게 영어 교정을 요청할 때 "Fix my grammar"보다 "I'm a Korean English learner at B2 level. Please correct my essay in a formal academic style, explaining each correction."처럼 구체적인 맥락을 제공하면 훨씬 정확한 답변을 얻습니다. LLM은 맥락(context)이 풍부할수록 더 적절한 토큰을 선택하기 때문입니다.

GPT도, Claude도, 그 본질은
"다음 단어를 예측하는" 단순한 작업의 무한 반복입니다.
하지만 그 반복이 충분히 거대해지고 정교해졌을 때—
언어가 피어납니다.

4부에서는 이 기술들이 실제 세계에서 어떻게 응용되고, 어떤 과제와 윤리적 문제를 남기는지 살펴봅니다.

Next Episode · CL-08

4부 1편: 기계번역의 역사와 현재

→

© MisoEnglish · Michelle Kim  |  Computational Linguistics Series · CL-07