컴퓨터 언어학 - 구문 분석(Parsing)과 의미 분석(Semantic Analysis)

 

 

Computational Linguistics · Part 2-2

Parsing & Semantic Analysis

문장의 뼈대를 읽고
의미를 캐내다

구문 분석(Parsing)과 의미 분석(Semantic Analysis)

 

MisoEnglish · Michelle Kim Series #CL-04 읽는 시간 약 11분

"Time flies like an arrow. Fruit flies like a banana."

— 언어학 교재에 자주 등장하는 중의성(Ambiguity) 예문
첫 문장: "시간은 화살처럼 날아간다." 두 번째 문장: "초파리(fruit fly)는 바나나를 좋아한다." 같은 구조처럼 보이지만 완전히 다른 문법 구조를 가집니다. 컴퓨터가 이 차이를 구별하려면 구문 분석이 필요합니다.

토큰화로 단어를 쪼갰다면, 이제 컴퓨터는 그 단어들이 어떤 관계로 연결되어 있는지 파악해야 합니다. "나는 고양이를 좋아하는 사람을 만났다"에서 좋아하는 것은 나인가, 만난 사람인가?

이 질문에 답하는 것이 구문 분석 (Parsing)이고, 분석된 구조에서 실제 의미를 추출하는 것이 의미 분석 (Semantic Analysis)입니다.

01  구문 분석이란 — What Is Parsing?

구문 분석은 문장을 문법 규칙에 따라 계층적 구조로 분해하는 과정입니다. 그 결과물이 바로 CL-01에서 잠깐 소개한 구문 트리 (Syntax Tree / Parse Tree)입니다. 이번에는 좀 더 깊이 들어가 보겠습니다.

구문 트리로 보는 중의성 — "I saw the man with a telescope."

해석 ① 내가 망원경으로 봤다

S

┌──┴──┐

NP

I

VP

┌──┴──┐

VP

┌─┴─┐

V

saw

NP

the man

PP

with scope

PP가 VP에 붙음
→ 망원경은 보는 행위에 사용

해석 ② 망원경 든 남자를 봤다

S

┌──┴──┐

NP

I

VP

┌──┴──┐

V

saw

NP

┌──┴──┐

NP

the man

PP

with scope

PP가 NP에 붙음
→ 망원경은 남자의 소지품

같은 문장도 PP(전치사구)가 어디에 붙느냐에 따라 의미가 달라집니다. 이것이 구문 분석이 중요한 이유입니다.

02  의존 구문 분석 — Dependency Parsing

현대 NLP에서 더 많이 쓰이는 방식은 의존 구문 분석 (Dependency Parsing)입니다. 문장을 트리로 분해하는 대신, 단어 사이의 의존 관계(어떤 단어가 어떤 단어를 수식하는지)를 화살표로 표현합니다.

Dependency Parsing — "She eats fresh apples daily."

She

PRON

eats

VERB (ROOT)

fresh

ADJ

apples

NOUN

daily

ADV

의존 관계

→ eats ← She nsubj (주어)

→ eats ← apples dobj (직접목적어)

→ apples ← fresh amod (형용사 수식)

→ eats ← daily advmod (부사 수식)

03  의미 분석의 세계 — Semantic Analysis

구문 분석이 문장의 뼈대를 파악한다면, 의미 분석은 그 뼈대 위에 살을 붙이는 과정입니다. 의미 분석에서 핵심적인 세 가지 개념을 살펴봅니다.

① 어의 중의성 해소 WSD Word Sense Disambiguation

하나의 단어가 여러 의미를 가질 때 문맥에 맞는 의미를 선택합니다.

"I went to the bank."  →  은행? 강둑?
"I deposited money at the bank."  →  은행 ✓
"The river bank was flooded."  →  강둑 ✓

② 개체명 인식 NER Named Entity Recognition

텍스트에서 인물, 장소, 조직, 날짜 등 고유한 실체를 인식하고 분류합니다. 검색엔진과 뉴스 분석의 핵심 기술입니다.

"Apple_ORG was founded by Steve Jobs_PER in Cupertino_LOC in 1976_DATE."

③ 감성 분석 Sentiment Analysis

텍스트에 담긴 감정(긍정·부정·중립)을 수치화합니다. 상품 리뷰 분석, SNS 여론 모니터링에 폭넓게 활용됩니다.

"This product is absolutely amazing!"

긍정 +0.92

"Not bad, but could be better."

중립 +0.31

"Terrible experience. Never again."

부정 −0.87

04  화용론의 벽 — Beyond Syntax and Semantics

구문 분석과 의미 분석을 마쳤다 해도, 언어에는 한 층이 더 있습니다. 바로 화용론 (Pragmatics)— 언어가 실제 맥락에서 어떻게 사용되는가의 영역입니다.

화용론의 예 — 같은 말, 다른 의미

"Can you pass the salt?"

문자적 의미: "소금을 건네줄 수 있는 능력이 있습니까?"
실제 의미: "소금 좀 건네주세요." (공손한 요청)
→ 컴퓨터는 문자적 의미만 분석하면 틀린 답을 냅니다.

"This is a great idea." (회의 중, 비꼬는 톤으로)

문자적 의미: 긍정적 평가
실제 의미: 반어(irony) — 형편없다는 비판
→ 감성 분석 모델은 이 문장을 긍정으로 오분류할 수 있습니다.

화용론적 이해는 현재 LLM이 가장 빠르게 발전하고 있는 영역이자, 여전히 가장 어려운 과제입니다.

🔗 영어 학습자를 위한 연결고리

영어를 공부할 때 문법(syntax)을 완벽히 알아도 원어민과의 대화가 어색한 이유가 바로 화용론 때문입니다. "I'm sorry"가 사과인지, 유감의 표현인지, 못 들었을 때의 되묻기인지는 문법책이 아니라 문화와 맥락이 알려줍니다. 컴퓨터도, 영어 학습자도, 진정한 언어 이해는 구조를 넘어 맥락을 읽는 것에서 완성됩니다.

문장의 뼈대를 파악하고,
단어의 의미를 분별하고,
맥락을 읽는 것—
이것이 언어를 '이해'한다는 말의 무게입니다.

다음 편에서는 컴퓨터가 단어를 수학적으로 표현하는 방법— 임베딩 (Embedding)의 세계로 들어갑니다. "king − man + woman = queen"이 어떻게 가능한지, 드디어 밝혀집니다.

Next Episode · CL-05

2부 3편: 단어의 수학적 표현, 임베딩

→

© MisoEnglish · Michelle Kim  |  Computational Linguistics Series · CL-04