온톨로지란 무엇인가: LLM 환각 방지와 에이전틱 AI 데이터 전략 | 가이드

온톨로지란 무엇인가: LLM 환각을 막는 에이전틱 AI 시대의 필수 데이터 전략

핵심 요약

• 온톨로지는 사람이 공유하는 개념을 기계가 이해하게 하는 인공지능 데이터입니다.
• LLM 성능 향상보다 기업 의사결정 리스크 헤지에 핵심 역할을 합니다.
• 지식 그래프는 온톨로지라는 ‘빵틀’에 구워진 ‘빵’에 해당합니다.
• 에이전틱 AI 시대에는 가비지 인이 디재스터 아웃으로 증폭됩니다.
• 온톨로지 도입은 전사 데이터가 아니라 골든 데이터부터 시작해야 합니다.

---

온톨로지는 더 이상 철학 수업에서만 등장하는 개념이 아닙니다.
LLM, 에이전틱 AI, 그래프 RAG 같은 최신 AI 기술의 뒤편에서, 데이터의 의미와 관계를 정의하는 실질적인 인프라로 다시 주목받고 있습니다.

Related: Claude MCP 완벽 가이드: Canva·Zapier·Stripe 워크플로우 자동화 | 실전 설정법

Related: 하네스 엔지니어링 완전 정복: 모델 무관 AI 코드 품질 가이드

Related: 하네스 엔지니어링으로 LLM 코드 품질 멱등성 확보하기 | 실전 AX 가이드

Related: AI 네이티브와 지능 배분 전략: 에이전틱 AI 시대 비즈니스 가이드

기업 환경에서 “조금 틀린 답”은 단순한 오류로 끝나지 않습니다.
재고, 가격, 안전, 규제 대응 같은 의사결정 영역에서 잘못된 데이터는 곧 손실과 사고로 이어집니다. 그래서 온톨로지는 성능 향상 기능이 아니라, 리스크를 줄이는 데이터 보험으로 작동합니다.

이 글은 김학래 교수(중앙대학교 문헌정보학과)의 설명을 바탕으로, 온톨로지의 개념부터 구글 지식 그래프, 팔란티어의 3계층 모델, 에이전틱 AI 시대의 리스크, 기업 도입 전략까지 정리합니다.

---

온톨로지란 무엇인가?

온톨로지란 사람이 머릿속에서 공유하는 개념과 지식을 컴퓨터가 이해할 수 있는 구조로 표현한 인공지능 데이터 기술입니다.
철학에서 온톨로지는 ‘존재론’, 즉 세상에 무엇이 있고 없는가를 다루는 학문이었습니다. 정보 시스템 관점에서는 사람 간에 공유된 개념과 관계를 기계가 직접 처리할 수 있는 데이터 구조로 만드는 작업을 뜻하고요.

김학래 교수는 이를 이렇게 정리합니다.

“온톨로지는 인공지능 데이터다. 사람들이 생각하고 있는 개념이나 우리가 알고 있는 지식을 컴퓨터가 이해할 수 있게 표현해 줘야 된다.”

일반적인 관계형 데이터베이스는 서울의 인구 = 1,000만처럼 사실(fact)을 저장합니다. 온톨로지는 그보다 상위에서 ‘서울’이 무엇인지, ‘인구’가 무엇인지 같은 개념 자체를 정의합니다.

예를 들면 이렇습니다.

• 서울, 인천, 용인은 모두 도시(City)라는 클래스에 속한다.
• 도시는 사람 거주, 도로, 행정 구역이라는 속성을 가진다.
• 도시와 국가는 속한다, 수도이다와 같은 관계로 연결된다.

단순 데이터 저장이 아니라 데이터 사이의 맥락(Context)과 관계(Relation)를 명시적으로 기술하는 것이 핵심입니다. “운전은 역시 스틱이지”라는 말을 두 사람이 같은 맥락으로 이해할 수 있는 건, 암묵적으로 공유하는 개념 체계가 있기 때문입니다. AI 시스템도 온톨로지를 통해 그 공유 체계를 갖게 되면 훨씬 정확하고 일관된 답변을 냅니다.

김학래 교수는 이 점을 이렇게 비유합니다.

“온톨로지는 LLM이 사람 눈치를 덜 보게 해 주는 기술이다.”

사람의 애매한 지시에만 의존하지 않고, 명시적으로 정의된 개념 체계를 바탕으로 판단할 수 있게 해 주는 기반인 셈입니다.

---

온톨로지의 역사란 무엇인가? 월드와이드웹에서 지식 그래프까지

온톨로지의 정보기술적 역사는 월드와이드웹 창시자 팀 버너스-리가 제안한 시맨틱 웹(Semantic Web) 비전에서 본격적으로 시작됩니다.
그는 문서와 문서를 링크로 연결하는 수준을 넘어, “정보와 정보 사이의 의미 있는 연결”을 구현하고자 했습니다.

2001년 제시된 이 아이디어에서 온톨로지는 다음과 같은 역할을 맡습니다.

• 두 사람이 인터뷰어와 인터뷰이라는 관계로 연결되어 있다.
• 이 둘은 모두 상위 개념인 사람(Person)에 속한다.
• 사람은 이름, 국적, 직업 등의 속성을 가진다.

“어떤 사물들이 있고, 그들 사이에 어떤 관계가 있는지”를 구조적으로 정의하는 틀이 온톨로지입니다.

2010년, 이 개념이 본격적인 상용화의 전기를 맞습니다. 구글이 프리베이스(Freebase) 기반 스타트업 메타웹을 인수했고, 2012년 이를 바탕으로 지식 그래프(Knowledge Graph)를 검색 엔진에 통합한 겁니다. 당시 구글이 내건 슬로건이 상징적입니다.

“우리는 문자열(String)이 아니라 사물(Thing)을 검색하겠다.”

“서울의 날씨”를 입력하면, 단순 문자열로 처리하는 게 아니라 “서울”을 도시(City)라는 개념으로 인식합니다. 그리고 도시 개념에 연결된 인구, 면적, 시장 이름 같은 정보를 지식 패널(Knowledge Panel)로 보여 주는 방식이죠. 노벨상 수상자를 검색하면 생존 여부에 따라 다른 정보가 나오고, 동일한 이름도 사람인지 제품인지 도시인지 먼저 판별하게 된 것도 이 덕분입니다.

이후 대형 언어 모델(LLM)이 등장하면서 온톨로지는 잠시 뒤로 밀려난 것처럼 보였습니다. 그런데 LLM의 환각(Hallucination)과 맥락 불일치 문제가 선명해지면서, “정확한 의미와 관계를 정의하는 기술”이 다시 핵심 화두로 떠올랐습니다. 역사는 돌아오는 법이라는 게 새삼 실감납니다.

---

온톨로지와 지식 그래프란 무엇인가? ‘빵틀’과 ‘빵’의 구분

온톨로지와 지식 그래프란 서로 밀접하지만 역할이 다른 두 가지 데이터 개념입니다.
온톨로지는 지식의 틀(Framework)을 만드는 체계이고, 지식 그래프는 그 틀 속에 실제 데이터가 채워진 결과물(Data)입니다.

김학래 교수는 이걸 아주 직관적으로 비유합니다.

“온톨로지는 빵틀이고, 지식 그래프는 그 빵틀로 구워 낸 빵이다.”

서울·런던·뉴욕에 대한 지식 그래프를 만든다고 해 보겠습니다.

• 먼저 “도시”라는 개념과 그 속성(인구, 면적, 공식 언어, 현임 시장 등)을 정의한다.
• 도시와 국가, 도시와 주변 도시 사이의 관계(속한다, 인접한다)를 정의한다.
• 이 개념과 관계의 설계도가 온톨로지다.
• 그다음 서울의 인구, 면적, 시장 이름처럼 실제 값을 채워 넣으면 지식 그래프가 된다.

간단히 정리하면 이렇습니다.

• 온톨로지: 개념 수준 설계도, 스키마, 의미 구조
• 지식 그래프: 그 설계도를 바탕으로 구현된 실제 데이터셋

온톨로지에서 널리 쓰는 표준 언어가 RDF(Resource Description Framework)입니다. “서울은 도시(City) 클래스의 인스턴스다”, “용인도 도시 클래스의 인스턴스다”처럼 개체와 관계를 기계가 처리할 수 있는 형식으로 표현하는 방식입니다.

실무에서 체감하는 변화 중 하나는 구축 방식입니다. 과거에는 100% 수작업이었지만, 지금은 LLM으로 초안을 자동 생성하고 사람이 검수·보정하는 방식이 일반화됐습니다. 구축 시간과 비용이 과거 대비 수백 분의 일 수준으로 줄었다는 게 실무적으로 꽤 의미 있는 변화입니다.

---

LLM과 온톨로지의 관계란 무엇인가? 성능이 아니라 리스크 헤지

LLM과 온톨로지의 관계란 성능 향상 도구-보조재가 아니라, 리스크 관리(Risk Management) 체계와 그 기반 기술의 관계입니다.
LLM은 학습 데이터 안에서 확률적으로 그럴듯한 답을 계산해 냅니다. “서울의 인구는?”이라는 질문에 LLM이 제시하는 숫자는 실제 사실 여부와 관계없이, 확률적으로 가장 가능성 높은 값입니다.

반면 온톨로지 기반 시스템에서는 “도시의 인구”라는 속성에 대해 정확한 값이 명시적으로 저장됩니다. 어떤 맥락에서 질문하더라도 항상 같은 정의된 답을 되돌려 주죠.

이 차이는 기업 환경에서 결정적입니다.

• 기업 A와 B의 ‘재고 부족’ 기준은 서로 다를 수 있다.
• 재고 부족 상태에서 어떤 액션을 취할지(추가 발주, 할인, 생산 증가 등)는 각 기업의 정책에 따라 달라진다.

이런 의사결정 기준을 LLM의 확률 계산에 맡길 수는 없습니다. 명시적으로 정의하고 관리해야 하는 영역이고, 그 역할을 온톨로지가 담당합니다.

김학래 교수는 이 점을 분명히 짚습니다.

“기업의 의사 결정 기준이나 판단 기준은 학습에 의해서 나오면 안 된다.”

온톨로지는 판단 기준과 정의를 고정하고, LLM에는 그 맥락을 전달해 주는 가드레일입니다. “LLM 성능을 약간 올려 주는 튜닝 기법”이 아니라, 기업이 장기적으로 감당해야 할 리스크를 줄이는 헤지 수단이라는 관점이 더 정확합니다.

---

그래프 RAG란 무엇인가? 그라운딩과 온톨로지의 역할

그래프 RAG란 RAG(Retrieval-Augmented Generation, 검색 증강 생성)에 온톨로지와 지식 그래프를 결합한 그라운딩(근거 제공) 방식입니다.
일반적인 RAG는 문서 검색 결과를 LLM에 넣어 정확도를 높이는 방식입니다. 그래프 RAG는 문서 대신 지식 그래프와 온톨로지를 검색 소스로 씁니다.

그라운딩의 목표는 단순합니다. LLM 답변에 정확한 근거와 출처를 제공하고, 맥락과 의미 구조를 반영해 일관된 답변을 유지하는 것입니다.

그런데 여기서 한 가지 함정이 있습니다. LLM이 자동으로 만들어 낸 온톨로지는 신뢰하기 어렵습니다. 이미 LLM이 환각을 일으킨 결과를 구조화한 것일 수 있기 때문입니다. 그래서 실용적인 접근은 이렇습니다.

• LLM으로 초안을 생성한다.
• 도메인 전문가와 온톨로지 전문가가 수작업으로 검수·보정한다.
• 검증된 온톨로지를 그래프 RAG의 신뢰 가능한 근거 데이터로 사용한다.

김학래 교수는 2026~2027년경 AI 레디 데이터(AI-Ready Data)가 핵심 화두가 될 것으로 봅니다. 추가 가공 없이 런타임에 가까운 속도로 AI가 바로 활용할 수 있도록 준비된 데이터를 말합니다. 온톨로지는 이 AI 레디 데이터를 구현하는 핵심 기반 기술로서 중요성이 커질 수밖에 없습니다.

---

팔란티어 온톨로지 3계층 모델이란 무엇인가?

팔란티어의 온톨로지 3계층 모델이란 전통적 온톨로지 개념을 시맨틱(Semantic)·키네틱(Kinetic)·다이나믹(Dynamic) 세 계층으로 확장한 독자 아키텍처입니다.
단순한 “의미 구조”를 넘어, 행동(Action)과 의사결정(Decision)까지 모델링하려는 시도입니다.

각 계층의 역할을 정리하면 이렇습니다.

• 시맨틱(Semantic) 레이어: 전통적 온톨로지의 핵심입니다. 오브젝트(Object)와 링크(Link)를 통해 개체와 관계, 의미를 정의합니다. ‘자동차’, ‘사람’, ‘도로’, ‘사고’ 같은 개념과 그들 사이의 관계가 여기 해당합니다.

• 키네틱(Kinetic) 레이어: 실제로 취할 수 있는 액션(Action) 개념을 포함합니다. ‘차량 정지’, ‘우회 경로 선택’, ‘긴급 출동 요청’ 같은 조치들입니다.

• 다이나믹(Dynamic) 레이어: 키네틱 레이어의 액션을 바탕으로 의사결정(Decision)을 모델링합니다. “사고 발생 + 인명 위험 → 즉시 정지 및 구조 요청”과 같은 정책 로직이 여기 들어옵니다.

이 모델에서 가장 흥미로운 부분은 세 계층 사이의 피드백 루프(Feedback Loop)입니다. 키네틱·다이나믹 레이어에서 일어난 액션과 그 결과가 시맨틱 레이어로 되돌아가 온톨로지 자체를 갱신합니다.

전기차(EV)가 등장하면서 ‘자동차’ 개념의 정의와 관계가 바뀐 게 좋은 예입니다. 배터리 수명, 충전 인프라 같은 속성이 중요해졌고, 실제 운행·정비·사고 데이터가 쌓이면서 이 변화가 상위 개념인 ‘자동차’ 오브젝트 속성으로 업데이트됩니다.

“정적인 온톨로지가 아니라, 실제 세계의 변화에 맞춰 스스로 갱신되는 살아있는 지식 체계”가 팔란티어 모델의 지향점입니다.

팔란티어 온톨로지는 국방(Defense) 분야에서 먼저 광범위하게 쓰였고, 이후 B2B 영역으로 확산됐습니다. 기업 환경에서는 SCM, CRM, ERP 같은 서로 다른 시스템을 온톨로지 기반으로 통합하고, 의사결정에 필요한 여러 시스템을 연결하는 데이터 허브로 기능합니다.

특정 시스템의 데이터 모델이 아니라, “기업이 내리고 싶은 의사결정을 중심으로 여러 시스템을 묶는 상위 추상화 레이어”로 이해하는 게 맞습니다.

---

에이전틱 AI 시대의 ‘가비지 인, 디재스터 아웃’이란 무엇인가?

에이전틱 AI(Agentic AI)란 AI가 사용자의 목표를 이해하고 도구와 시스템을 활용해 자율적으로 작업을 수행하는 AI 에이전트를 의미합니다.
이 환경에서 데이터 품질 문제는 단순한 정확도 이슈가 아닙니다. 재앙적 결과로 이어질 수 있는 시스템 리스크가 됩니다.

“가비지 인, 가비지 아웃(Garbage In, Garbage Out)”이라는 말이 있습니다. 나쁜 데이터가 들어가면 나쁜 결과가 나온다는 뜻입니다. 에이전틱 AI에서는 이 공식이 달라집니다.

• 한 에이전트의 잘못된 판단 결과가
• 다음 에이전트의 입력값이 되고
• 여러 단계를 거쳐 연쇄적으로 이어지면서
• 오류가 지수적으로 증폭됩니다.

김학래 교수는 이를 직접적으로 경고합니다.

“예전에는 가비지 인, 가비지 아웃 그랬잖아요. 에이전틱 AI 환경에서는 가비지 인, 디재스터 아웃이 될 거예요.”

이 경고가 왜 실질적인지는 실제 사례를 보면 분명해집니다.

타겟 캐나다의 데이터 거버넌스 실패

타겟(Target)의 캐나다 진출은 데이터 품질 문제로 인한 대표적인 실패 사례입니다.

• 최고 수준의 SAP ERP 시스템을 도입했음에도
• 수천 명이 짧은 기간 동안 데이터를 수작업으로 입력하면서
• 단위 불일치, 규격 초과 데이터가 대량으로 쌓였습니다.

결과가 어땠냐면, 실제 매장에는 재고가 없는데 시스템은 넘친다고 표시하거나, 반대로 재고가 있는데 없다고 나오는 혼란이 반복됐습니다. 타겟은 결국 약 2조 원 이상의 손실을 보고 캐나다 시장에서 철수했습니다. 경영학 교과서에도 실릴 정도로 데이터 거버넌스 실패의 상징적인 사례로 남아 있습니다.

피지컬 AI에서의 안전 가드레일 부재

자율주행 분야에서도 유사한 문제가 현실로 나타났습니다. 2023년 샌프란시스코에서 크루즈(Cruise)의 자율주행차는 사고 이후, 사람을 차량에 낀 채 약 6미터를 그대로 이동하는 사고를 냈습니다.

• 시스템에는 “사고 발생 시 차량을 안전한 위치로 이동한다”는 로직이 있었습니다.
• 그러나 “차량에 끼인 것이 사람이며, 그 사람의 보호가 최우선”이라는 개념 정의는 없었습니다.

“자동차에 끼어 있는 게 사람이었고 가장 먼저 보호해야 된다고 사람은 당연히 생각한다. 그런데 자율주행의 판단에는 그게 없었다.”

사고, 사람, 우선순위, 보호 의무 같은 개념이 명시적으로 정의된 온톨로지가 있었다면, 전혀 다른 의사결정이 내려졌을 겁니다. 확률적으로 계산하는 시스템이 물리 세계에서 작동할 때 온톨로지적 가드레일이 없으면 어떤 일이 벌어지는지를 보여주는 사례입니다.

---

기업 온톨로지 도입 전략이란 무엇인가? 골든 데이터부터 시작하라

기업이 온톨로지를 도입할 때 가장 먼저 마주치는 현실은 데이터 사일로(Data Silo) 문제입니다.
필요할 때마다 시스템을 하나씩 도입한 결과, 각 시스템이 서로 다른 기준과 형식으로 데이터를 관리하는 구조가 굳어져 있습니다.

김학래 교수는 이 누적된 문제를 데이터 부채(Data Debt)라고 부릅니다. 소프트웨어 개발의 기술 부채(Technical Debt)와 비슷한 개념으로, 그동안 쌓아온 비일관적 데이터 관리의 비용이 한꺼번에 터지는 상황입니다.

직접 현장에서 보면, 이 부채가 얼마나 깊이 쌓여 있는지 깨닫는 순간이 있습니다. 그리고 그걸 한꺼번에 해결하려다 프로젝트가 멈추는 경우도 적지 않습니다. 그래서 현실적인 전략이 중요합니다.

1. 전사 데이터 일괄 정비는 목표로 삼지 않는다. 처음부터 모든 사일로를 한 번에 통합하려 하면 복잡성과 비용 때문에 실패 가능성이 높습니다.

2. 가장 참조성이 높은 골든 데이터(Golden Data)부터 시작한다. 여러 부서와 시스템이 공통으로 반복 참조하는 핵심 데이터를 선정합니다. 핵심 제품 마스터, 고객 마스터, 핵심 설비 목록 같은 것들입니다. 이 데이터를 정교하게 온톨로지화하는 것을 1단계 목표로 잡습니다.

3. 가장 깔끔한 사일로 하나를 골라 PoC를 만든다. 비교적 정리가 잘 된 영역에서 파일럿 프로젝트를 수행하고, 이를 통해 구체적인 성공 스토리와 조직 내부 신뢰를 확보합니다.

4. 인접 사일로로 점진적으로 확장한다. 첫 성공 경험을 바탕으로 인접한 시스템과 도메인으로 범위를 넓혀 가면서 데이터 부채를 단계적으로 해소합니다.

구축 방식도 크게 달라졌습니다.

“과거에는 도메인 전문가와 온톨로지 전문가가 함께 100% 수작업으로 만들었다. 이제는 LLM이 초안을 만들고 사람이 검수·보정하는 방식으로 진화했다.”

구축 비용과 시간이 과거 대비 수백 분의 일 수준으로 줄었습니다. 재정 여력이 있는 대기업은 팔란티어 같은 전문 솔루션을 도입할 수 있고, 예산이 제한된 중소기업도 범위를 좁혀 소규모 온톨로지 프로젝트부터 시작하는 게 충분히 가능합니다.

결국 관점의 전환이 필요합니다.

“온톨로지를 비용이라고 생각하지 말고, 디재스터 아웃을 막기 위한 보험이라고 생각해야 한다.”

단기적으로는 구축 비용이 들지만, 에이전틱 AI가 일상화되는 시대에는 데이터의 품질과 체계성 자체가 기업 경쟁력과 안전의 핵심 요소가 됩니다.

---

자주 묻는 질문 (FAQ)

Q: 온톨로지를 도입하면 LLM 환각 문제가 완전히 사라지나요?

A: 온톨로지는 LLM의 환각을 완전히 제거하기보다는 범위와 영향을 크게 줄이는 역할을 합니다. 핵심 개념과 의사결정 기준을 온톨로지로 고정하고, LLM이 이 기준 밖으로 벗어나지 않도록 가드레일을 제공하는 것이 현실적인 목표입니다.

Q: 온톨로지와 지식 그래프를 꼭 동시에 도입해야 하나요?

A: 온톨로지는 개념 설계도, 지식 그래프는 그 설계도에 채워진 데이터입니다. 실무에서는 먼저 온톨로지로 개념과 관계를 정리한 뒤, 우선순위 높은 영역부터 지식 그래프를 채워 넣는 단계적 도입이 일반적입니다.

Q: 중소기업도 온톨로지를 도입할 실질적 이점이 있나요?

A: 있습니다. 재고, 설비, 핵심 고객 등 골든 데이터 영역의 오류를 줄이는 것만으로도 비용 절감과 의사결정 품질 향상 효과를 얻을 수 있습니다. LLM 기반 자동 초안 + 사람 검수 방식으로 구축 비용도 과거보다 크게 낮아졌습니다.

Q: 그래프 RAG와 일반 RAG는 언제 어떤 기준으로 선택해야 하나요?

A: 기업 내부 개념과 의사결정 기준이 명확히 정의되어야 하는 영역에서는 그래프 RAG가 적합합니다. 단순 문서 검색으로 충분한 FAQ나 일반 정보 제공에는 일반 RAG도 충분하지만, 재무, 규제, 안전처럼 오류 비용이 큰 도메인에서는 온톨로지·지식 그래프 기반 그래프 RAG가 더 안전합니다.

Q: 팔란티어 같은 상용 솔루션 없이도 의미 있는 온톨로지 프로젝트가 가능할까요?

A: 가능합니다. 핵심은 범위 설정과 골든 데이터 선정입니다. 상용 솔루션 없이도, 특정 도메인(예: 한 제품 라인의 공급망 데이터)에 한정해 온톨로지를 설계하고, 이를 기반으로 LLM 응답을 그라운딩하는 소규모 프로젝트부터 시작할 수 있습니다.

---

결론

온톨로지는 철학적 개념을 넘어, LLM과 에이전틱 AI 시대의 데이터 안전장치로 다시 부상했습니다.
구글 지식 그래프, 팔란티어의 3계층 모델, 그래프 RAG 사례에서 보듯 “무엇이 무엇이고, 어떻게 연결되어 있으며, 어떤 기준으로 판단해야 하는지”를 명시적으로 정의하는 기술은, AI 활용이 깊어질수록 더 중요해질 수밖에 없습니다.

핵심을 정리하면 이렇습니다.

• 온톨로지는 사람이 공유하는 개념과 지식을 기계가 이해할 수 있게 만드는 인공지능 데이터 기술입니다.
• LLM과의 관계는 성능 튜닝이 아니라, 의사결정 기준과 리스크를 관리하는 가드레일입니다.
• 지식 그래프는 온톨로지라는 빵틀에 데이터를 채워 구워 낸 실제 ‘빵’입니다.
• 에이전틱 AI 시대에는 “가비지 인, 가비지 아웃”이 아니라 “가비지 인, 디재스터 아웃”이 현실 리스크입니다.
• 기업은 전사 데이터를 한꺼번에 정리하려 하기보다, 가장 참조성이 높은 골든 데이터부터 온톨로지화하는 전략이 필요합니다.

온톨로지를 비용이 아니라 보험으로 바라볼 때, 에이전틱 AI가 가져올 생산성과 자동화의 이점을 누리면서도 대형 사고의 리스크를 줄일 수 있습니다. 타겟 캐나다나 크루즈 자율주행 사례처럼, 데이터 체계가 무너지면 좋은 시스템도 소용없다는 걸 이미 우리는 목격하고 있으니까요.