컴퓨터 언어학 - 통계적(Statistical) 접근법으로의 대전환

 

 

Computational Linguistics · Part 1-2

The Statistical Turn — From Rules to Data

규칙을 버리고
데이터를 택하다

통계적(Statistical) 접근법으로의 대전환

 

MisoEnglish · Michelle Kim Series #CL-02 읽는 시간 약 10분

"Every time I fire a linguist, the performance of our speech recognizer goes up."

— Frederick Jelinek, IBM 음성인식 연구소장 (1988년경)
언어학자를 한 명씩 해고할 때마다 음성인식 성능이 올라갔다는 이 발언은, 통계적 접근법 시대의 도래를 상징하는 문장이 되었습니다.

지난 편에서 우리는 규칙 기반 시스템이 언어의 중의성, 예외, 확장 문제 앞에서 한계를 드러냈다는 것을 보았습니다. 1980년대 말부터 연구자들은 전혀 다른 방향을 택하기 시작했습니다. 언어학자가 직접 규칙을 쓰는 대신, 방대한 텍스트 데이터를 컴퓨터에게 주고 "스스로 패턴을 찾아라"고 한 것입니다.

이것이 컴퓨터 언어학의 두 번째 패러다임— 통계적 접근법 (Statistical Approach)입니다.

01  말뭉치의 등장 — What Is a Corpus?

통계적 접근법의 핵심 재료는 말뭉치 (Corpus, 복수형 Corpora)입니다. 말뭉치란 언어 연구를 위해 체계적으로 수집·정리된 대규모 텍스트 집합입니다. 신문 기사, 소설, 학술 논문, 대화록—언어가 실제로 사용된 모든 텍스트가 말뭉치가 될 수 있습니다.

Brown Corpus (1961)

최초의 전자 영어 말뭉치. 500개 장르 텍스트, 약 100만 어절 수록. 컴퓨터 언어학의 출발점.

British National Corpus (1994)

1억 어절 규모. 문어·구어 포함. 현재도 영어 연구의 기준 자료로 활용.

세종 말뭉치 (1998~)

한국어 대표 말뭉치. 문어·구어·병렬 말뭉치 포함. 파파고 등 한국어 NLP의 기반.

Common Crawl (2008~)

웹 전체를 수집한 초대형 말뭉치. GPT·Claude 같은 현대 LLM 학습 데이터의 핵심.

02  확률로 언어를 보다 — Language as Probability

통계적 접근법의 핵심 아이디어는 간단합니다. "언어는 확률의 게임이다." 어떤 단어 다음에 어떤 단어가 올지, 어떤 번역이 더 자연스러운지를 수백만 건의 텍스트에서 학습한 확률로 판단하는 것입니다.

핵심 개념 — N-gram 언어 모델

N-gram은 연속된 N개의 단어 묶음입니다. 통계 언어 모델은 말뭉치에서 N-gram의 출현 빈도를 계산해, 다음에 올 단어의 확률을 예측합니다.

예: "I want to ___" 다음에 올 단어의 확률

eat

 

0.062

go

 

0.045

be

 

0.038

see

 

0.022

* 수치는 개념 설명을 위한 예시입니다. 실제 말뭉치 빈도는 데이터셋에 따라 다릅니다.

스마트폰 키보드의 자동완성이 바로 이 원리입니다. "I want to" 다음에 "eat"이 뜨는 것은 규칙이 아니라, 수억 명의 사람들이 실제로 그렇게 입력했기 때문입니다.

03  엔트로피와 언어 — Shannon's Information Theory

통계 언어학의 이론적 토대에는 클로드 섀넌(Claude Shannon)의 정보 이론 (Information Theory, 1948)이 있습니다. 섀넌은 정보의 불확실성을 엔트로피 (Entropy)로 수치화했습니다.

높은 엔트로피 = 높은 불확실성

"The ___"

다음 단어로 올 수 있는 가능성이 너무 많아 예측이 어렵습니다.

낮은 엔트로피 = 낮은 불확실성

"Nice to meet ___"

"you"가 올 것이 거의 확실합니다. 예측이 쉽습니다.

좋은 언어 모델일수록 엔트로피가 낮습니다—즉, 다음 단어를 더 정확하게 예측합니다. 이 개념은 오늘날 LLM의 성능을 평가하는 지표인 퍼플렉서티 (Perplexity)의 기원이기도 합니다.

04  규칙 vs 통계 — 두 접근법의 비교

구분	규칙 기반 Rule-Based	통계적 Statistical
지식 원천	언어학자가 작성한 규칙	대규모 텍스트 말뭉치
판단 방식	규칙에 맞으면 정답	확률이 높으면 정답
강점	설명 가능, 예측 가능	예외 처리, 확장성 우수
약점	예외·중의성에 취약	데이터 편향, 해석 어려움
대표 시스템	SYSTRAN (1970s~)	IBM SMT (1990s~)

05  통계적 접근법의 한계 — What Data Alone Cannot Do

통계적 접근법은 규칙 기반의 한계를 극복하며 큰 성과를 거뒀지만, 그 역시 해결하지 못한 문제들을 남겼습니다.

①

데이터 희소성 Data Sparsity

말뭉치에 없는 표현은 확률을 계산할 수 없습니다. 새로운 단어, 신조어, 전문 용어 앞에서 통계 모델은 침묵합니다.

②

장거리 의존성 Long-Range Dependency

"The cat that sat on the mat was happy." — N-gram은 먼 앞의 단어와의 관계를 기억하지 못합니다. 창문 크기(N)를 넘어서는 문맥은 볼 수 없습니다.

③

의미 없는 패턴 학습 Spurious Correlations

데이터에 편향이 있으면 그 편향도 함께 학습합니다. 통계는 상관관계를 볼 뿐, 인과관계나 의미를 이해하지는 못합니다.

🔗 영어 학습자를 위한 연결고리

영어 학습에서 "많이 읽고 많이 들으면 자연스럽게 익힌다"는 접근법은 사실 통계적 언어 학습과 같은 원리입니다. 우리 뇌도 수많은 입력 데이터에서 패턴을 추출해 언어를 습득합니다. 그러나 통계 모델처럼 인간도 단순 노출만으로는 한계가 있습니다— 왜 그런 표현이 쓰이는지, 문화적 맥락은 무엇인지를 이해할 때 비로소 언어는 깊어집니다. MisoEnglish가 문화와 역사의 뿌리로 영어를 가르치는 이유가 바로 여기 있습니다.

규칙은 언어를 설명하려 했고,
통계는 언어를 모방하려 했습니다.
그리고 두 방법 모두 언어의 본질에는 닿지 못했습니다.
그래서 연구자들은 세 번째 길을 찾습니다—딥러닝.

2부에서는 컴퓨터가 텍스트를 이해하기 위해 거치는 첫 단계— 형태소 분석과 토큰화 (Morphological Analysis & Tokenization)를 살펴봅니다.

Next Episode · CL-03

2부 1편: 형태소 분석과 토큰화

→

© MisoEnglish · Michelle Kim  |  Computational Linguistics Series · CL-02