Ch 1. 벡터 RAG의 한계와 지식 그래프¶
이 챕터에서 배우는 것
- 벡터 RAG가 잘하는 것과 구조적으로 못하는 것
- 멀티홉 · 관계 · 전역 집계 질문에서 벡터 검색이 무너지는 이유
- 지식 그래프가 메우는 빈자리, 그리고 GraphRAG의 미리보기
- "그래프가 벡터를 대체한다"는 흔한 오해 바로잡기
전제
임베딩과 벡터 검색의 기본 감(코사인 유사도로 "비슷한 청크"를 찾는다)이 있으면 충분하다. 없다면 RAG 가이드를 먼저 훑고 오자.
1. 개념 — 벡터 검색은 "비슷함"만 안다¶
벡터 RAG는 단순하고 강력하다. 문서를 청크로 잘라 임베딩하고, 질문도 임베딩해서, 벡터 공간에서 가까운 청크를 끌어온다. "이 질문과 의미가 비슷한 글"을 찾는 데는 이만한 게 없다.
문제는 그 "비슷함"이 벡터 RAG가 아는 전부라는 데 있다. 벡터 공간에는 관계가 없다. "스티브 잡스"와 "애플"이 가깝게 박힐 수는 있어도, 둘 사이가 창업자인지 직원인지 경쟁자인지는 벡터에 담기지 않는다. 가까움은 알지만, 어떻게 연결되는지는 모른다.
2. 왜 필요한가 — 벡터가 무너지는 세 가지 질문¶
세 종류의 질문에서 벡터 RAG는 구조적으로 약하다.
① 멀티홉(multi-hop) — 관계를 따라가야 하는 질문. "이 논문을 인용한 연구들이 쓴 데이터셋은?" 같은 질문은 논문 → 인용 → 데이터셋으로 두세 단계를 건너야 한다. 벡터 검색은 한 번에 "비슷한 청크"만 줄 뿐, 단계를 이어 밟지 못한다. 운 좋게 답이 한 청크에 다 적혀 있지 않으면 끝이다.
② 종합 — 흩어진 사실을 모아야 하는 질문. "이 회사 모든 자회사의 대표는 누구인가?" 답은 자회사마다 다른 문서에 흩어져 있다. top-k 청크를 끌어오면 일부만 걸리고, 나머지는 잘린다. k를 키우면 컨텍스트가 길어져 정확도가 떨어진다.
③ 전역(global) — 코퍼스 전체를 봐야 하는 질문. "이 보고서 묶음의 핵심 주제 다섯 개는?" 어떤 단일 청크도 이 답을 갖고 있지 않다. 전체를 가로질러 요약해야 하는데, 벡터 검색은 애초에 "일부를 꺼내는" 도구다.
3. 어디에 쓰이는가 — 지식 그래프가 메우는 자리¶
지식 그래프는 정보를 노드(개체)와 엣지(관계)로 명시한다. 잡스 —[창업]→ 애플, 애플 —[소유]→ 자회사. 관계가 데이터에 직접 박혀 있으니, 위 세 질문이 풀린다.
- 멀티홉 → 엣지를 따라 순회(traversal)하면 된다.
- 종합 → "이 노드에 연결된 모든 X"를 한 번에 모은다.
- 전역 → 그래프를 커뮤니티로 묶고 각 커뮤니티를 요약해 둔다(→ Part 4, 그래프 검색 전략).
| 질문 유형 | 벡터 RAG | 지식 그래프 |
|---|---|---|
| "비슷한 내용 찾아줘" | ◎ 강함 | △ 과함 |
| 멀티홉(관계 추적) | ✗ 약함 | ◎ 강함 |
| 종합(흩어진 사실) | △ 누락 잦음 | ◎ 강함 |
| 전역 요약 | ✗ 구조적 한계 | ◎ (커뮤니티 요약) |
4. GraphRAG 미리보기¶
그럼 둘 중 하나를 고르는 문제인가? 아니다. GraphRAG는 그래프를 RAG에 붙여 "연결"을 검색 가능하게 만든 것이다. 질문이 들어오면 관련 노드를 찾고, 그 주변 관계를 따라가며 컨텍스트를 모은 뒤, 그걸 LLM에 넘긴다. 벡터 검색으로 진입점을 찾고, 그래프로 주변을 확장하는 하이브리드도 흔하다. 자세한 아키텍처는 Part 4에서 짓는다.
5. 자주 깨지는 포인트¶
"그래프가 벡터를 대체한다" — 가장 흔한 오해다. 벡터는 "비슷한 것 찾기"에 여전히 최고고, 그래프는 "연결 따라가기"에 강하다. 둘은 경쟁이 아니라 보완이다. 실제 시스템은 대개 둘을 섞는다.
"일단 그래프부터 만들자" — 그래프 구축은 공짜가 아니다. 엔티티·관계 추출, 스키마 설계, 갱신 비용이 든다. 질문이 대부분 "비슷한 문서 찾기"라면 벡터 RAG로 충분하다. 멀티홉·종합·전역 질문이 핵심일 때 그래프의 값이 산다.
6. 연습 & 다음 챕터¶
확인 문제¶
- 내 도메인의 실제 질문 5개를 적고, 각각 "비슷함"으로 풀리는지 "관계"가 필요한지 분류해 보라.
- top-k를 아무리 키워도 벡터 RAG로 안 풀리는 질문의 공통점은 무엇인가?
다음¶
용어부터 정리하자. "온톨로지"와 "지식 그래프"와 "택소노미"는 자주 섞여 쓰이는데, 분리해 두면 나머지가 쉬워진다 → Ch 2.
원전¶
- Microsoft Research (2024). From Local to Global: A Graph RAG Approach to Query-Focused Summarization. arXiv:2404.16130
- Lewis et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401
- Liu et al. (2024). Lost in the Middle: How Language Models Use Long Contexts. TACL