컴퓨터 언어학 - 규칙 기반(Rule-Based) 접근법과 전통 언어학

 

 

Computational Linguistics · Part 1-1

Rule-Based Approach & Traditional Linguistics

규칙으로 언어를
길들이려 했던 시대

규칙 기반(Rule-Based) 접근법과 전통 언어학

 

MisoEnglish · Michelle Kim Series #CL-01 읽는 시간 약 10분

"Colorless green ideas sleep furiously."

— Noam Chomsky, 『Syntactic Structures』(1957)
문법적으로는 완벽하나 의미는 없는 이 문장으로, 촘스키는 언어의 구조(통사론)가 의미와 독립적임을 증명했습니다.

번역기가 처음 등장했을 때, 개발자들은 이렇게 생각했습니다. "언어에는 규칙이 있다. 그 규칙을 모두 컴퓨터에 입력하면 된다." 마치 수학 공식처럼, 언어도 정해진 법칙으로 완벽하게 설명할 수 있다고 믿었던 것입니다.

이것이 컴퓨터 언어학의 첫 번째 접근법— 규칙 기반(Rule-Based) 접근법입니다. 오늘은 그 시대로 돌아가, 컴퓨터가 언어를 처음 만난 방식을 살펴봅니다.

01  언어학의 세 기둥 — Three Pillars of Linguistics

컴퓨터가 언어를 처리하려면, 먼저 언어학자들이 언어를 어떻게 분석하는지 알아야 합니다. 전통 언어학은 언어를 크게 세 층위로 나누어 연구합니다.

01

형태론 Morphology — 단어의 내부 구조

단어가 어떤 최소 의미 단위(형태소, morpheme)로 이루어지는지 분석합니다. 예: un + help + ful + ness → 4개의 형태소. 한국어로는 "먹었습니다" = 먹(어간) + 었(과거시제) + 습니다(종결어미).

02

통사론 Syntax — 문장의 구조

단어들이 어떤 규칙으로 결합해 문장이 되는지를 연구합니다. 영어의 "주어 + 동사 + 목적어(SVO)" 어순이 대표적인 통사 규칙. 컴퓨터가 가장 먼저 학습한 언어 규칙도 바로 이 통사론적 패턴입니다.

03

의미론 Semantics — 의미의 세계

단어와 문장이 어떤 의미를 가지는지 연구합니다. 규칙 기반 시대에는 이 부분이 가장 큰 난제였습니다— "bank"가 은행인지 강둑인지, 규칙만으로는 판단할 수 없었기 때문입니다.

02  촘스키의 혁명 — Chomsky's Formal Grammar

1957년, 노암 촘스키(Noam Chomsky)는 『통사 구조론 (Syntactic Structures)』을 발표하며 언어학계를 뒤흔들었습니다. 그의 핵심 주장은 이것입니다:

"인간의 언어 능력은 후천적 학습이 아니라, 태어날 때부터 내재된 보편 문법(Universal Grammar)에서 비롯된다."

→ 모든 인간 언어에는 공통된 심층 구조(Deep Structure)가 존재한다

촘스키는 언어를 수학적 규칙의 집합— 형식 문법(Formal Grammar)으로 정의했습니다. 그 중에서도 문맥 자유 문법 (CFG, Context-Free Grammar)은 컴퓨터 언어학의 초석이 됩니다. CFG는 "S → NP + VP(문장은 명사구와 동사구로 구성된다)"처럼, 문장을 나무 구조(Syntax Tree)로 분해하는 규칙 체계입니다.

Syntax Tree 예시 — "The cat sat on the mat."

S

┌──────────┴──────────┐

NP

┌───┴───┐

Det

The

N

cat

VP

┌───┴──────┐

V

sat

PP

┌─┴──┐

P

on

NP

┌─┴──┐

Det

the

N

mat

S=문장, NP=명사구, VP=동사구, PP=전치사구, Det=한정사, N=명사, V=동사, P=전치사

03  규칙 기반 시스템의 작동 방식 — How Rule-Based NLP Worked

초기 컴퓨터 언어학자들은 언어학자가 기술한 규칙을 코드로 변환했습니다. 예를 들어 영어→러시아어 번역 시스템은 이런 식으로 작동했습니다:

STEP 1

형태소 분석 Morphological Analysis

입력 문장의 각 단어를 형태소로 분해. 어간, 어미, 접두사·접미사 분리.

↓

STEP 2

품사 태깅 POS Tagging

각 단어에 명사(N), 동사(V), 형용사(Adj) 등 품사 레이블을 부착. 규칙 사전 참조.

↓

STEP 3

구문 분석 Parsing

CFG 규칙에 따라 문장을 구문 트리로 분해. 주어·서술어·목적어 구조 파악.

↓

OUTPUT

이전 언어로 변환 Transfer & Generation

구문 트리를 목표 언어 규칙에 맞게 재구성. 이중언어 사전으로 단어 치환 후 출력.

04  규칙의 한계 — Why Rules Were Not Enough

하지만 언어는 수학이 아닙니다. 규칙 기반 시스템은 세 가지 근본적 한계에 부딪혔습니다.

① 중의성 Ambiguity

"I saw the man with a telescope."
내가 망원경으로 봤나? 망원경을 가진 남자를 봤나? 규칙은 답을 모릅니다.

② 예외의 무한성 Exceptions

영어 불규칙 동사만 200개 이상. 숙어·관용어·신조어는 규칙 밖에 존재합니다.

③ 확장 비용 Scalability

언어쌍이 늘어날수록 규칙도 기하급수적으로 증가. 유지·보수에 막대한 인력이 필요합니다.

🔗 영어 학습자를 위한 연결고리

우리가 영어 문법을 공부할 때 배우는 5형식(SVO, SVOO 등)은 바로 이 통사론적 규칙입니다. 컴퓨터도 처음에는 이 규칙을 그대로 배웠습니다. 하지만 "He made her a dress(그는 그녀에게 드레스를 만들어줬다)"와 "He made her happy(그는 그녀를 행복하게 만들었다)"처럼, 같은 형식이 다른 의미를 가질 때—규칙은 침묵합니다. 문법 규칙을 아는 것과 언어를 이해하는 것은 다릅니다. 컴퓨터도, 우리도 그것을 배워가고 있습니다.

규칙은 언어의 뼈대를 설명할 수 있었지만,
언어의 숨결—문맥, 뉘앙스, 예외—은 설명할 수 없었습니다.
그래서 언어학자들은 다른 방향을 찾기 시작했습니다.

다음 편에서는 규칙의 한계를 극복한 통계적 접근법(Statistical Approach)의 등장을 살펴봅니다.

Next Episode · CL-02

1부 2편: 통계적 접근법으로의 대전환

→

© MisoEnglish · Michelle Kim  |  Computational Linguistics Series · CL-01