2026년 들어 자주 도는 말이 있다. “범용 LLM 하이프는 끝났다. 이제 도메인 특화가 이긴다.” 7~13B짜리 작은 모델을 한 번 파인튜닝하면 거대 범용 모델을 특정 도메인 과제에서 능가한다는 사례가 근거로 따라붙는다. Cogent는 아예 이걸 「범용 LLM 하이프의 끝」이라고 제목을 달았다.
그런데 이상한 게 있다. 정작 도메인 AI의 챔피언으로 불리는 회사들(법률의 Harvey, 고객 응대의 Sierra, 의료의 Hippocratic)을 까보면, 밑에서 도는 건 자체 특화 모델이 아니라 그냥 Claude나 GPT다. 그럼 대체 뭐가 “특화”된 걸까. 이 질문을 따라가면 “특화 모델이 이긴다”는 말이 절반만 맞다는 게 드러난다.
프런티어 모델이 격차를 메웠다
2년 전이라면 파인튜닝의 논리는 단순했다. 범용 모델은 도메인 용어를 모르고, 전문 질문에 환각을 일으키고, 사내 지식에 접근하지 못한다. 그러니 우리 데이터로 모델을 따로 길들이자.
문제는 그 사이 범용 모델이 너무 좋아졌다는 것이다. 긴 컨텍스트, 네이티브 도구 사용, 구조화된 출력, 지시 따르기 — 파인튜닝을 부추기던 격차의 대부분이 2026년에는 메워졌다. 프롬프트와 검색(RAG)만으로 예전보다 훨씬 넓은 영역이 커버된다. 그래서 한때 뜨겁던 “RAG냐 파인튜닝이냐” 논쟁은 이제 대체로 소음에 가깝다.
실무의 권장 순서도 분명해졌다. 프롬프트 → RAG → 파인튜닝 → 증류(distill). 위에서부터 차례로 시도하고, 안 될 때만 아래로 내려간다. 가장 ROI 높은 파인튜닝조차 강한 베이스 모델 위에 얇은 LoRA 어댑터를 얹는 식이지, 모델을 통째로 갈아 만드는 게 아니다. 한 줄로 요약하면 이렇다 — 자주 바뀌는 지식은 검색에 두고, 안 바뀌는 행동만 파인튜닝에 넣어라. 모델 가중치를 특화하는 일의 값이 이렇게 떨어졌다.
그래서 해자는 한 칸 위로 올라갔다
그럼 Harvey와 Sierra는 무엇으로 이기고 있나. 모델이 아니다. 모델 위에 쌓은 것들이다.
Sierra는 7분기 만에 연 매출 1억 달러를 찍었고, Harvey는 59개국의 법률 문서를 다룬다. 이들의 가치는 세 층에서 나온다 — 도메인 데이터, 그 데이터에 연결된 도구, 그리고 워크플로. Sierra와 Harvey가 밑에서 Claude나 GPT를 돌릴지언정, 그 위에 얹은 산업 데이터셋·깊은 통합·코드화된 업무 절차(SOP)는 수만 시간을 들여 쌓은 것이다. 모델은 누구나 부르는 API지만, 그 주변은 그렇지 않다.
버티컬 SaaS 시장을 버티컬 AI가 잠식하는 이유가 여기 있다. 범용 챗봇이 못 들어가는 자리는 모델이 멍청해서가 아니라, 그 업계의 예외 처리와 규정과 데이터 연결을 모르기 때문이다. 그건 모델 제공자가 기능으로 출시할 수 없다.
”데이터 해자”라는 신화
다만 여기서 한 번 더 조심할 게 있다. “독점 데이터를 쌓으면 그게 해자”라는 말은 그 자체로는 신화에 가깝다. 한 비판은 Harvey를 비롯한 여러 버티컬 AI가 아직 방어 가능한 데이터 해자를 증명하지 못했다고 지적한다. 데이터를 쌓아두는 것만으로는 부족하다는 것이다.
진짜 방어력은 데이터의 양이 아니라 그 데이터가 업무 흐름에 얼마나 녹아 있느냐에서 나온다. 고객의 업무 흐름·통증·필요를 깊이 알고, 그게 제품의 다섯 개 워크플로에 통합되어 있고, 매 사용이 다음 결과를 낫게 만드는 피드백 루프가 도는가. 12개월어치 데이터 우위가 있는가. 이런 질문에 답할 수 있을 때 비로소 해자가 된다. 데이터는 재료일 뿐이고, 해자는 그 재료를 업무에 엮는 방식이다.
그럼 ‘도메인 특화’의 무게중심은 어디인가
정리하면 “도메인 특화가 이긴다”는 말은 맞다. 단, 특화의 무게중심이 모델 가중치에서 그 바깥 전부로 옮겨갔다는 단서가 붙는다. 어떤 지식을 검색에 두고 어떤 행동을 파인튜닝에 넣을지, 도메인 데이터를 어떤 워크플로에 어떻게 박을지, 결과가 맞는지 누가 어떻게 검증할지. 이제 차별화는 이 설계에서 나온다.
작은 특화 모델이 거대 범용 모델을 이기는 사례가 사라졌다는 뜻이 아니다. 출력 포맷을 수천 가지 예외에서 일관되게 강제해야 하거나, 프롬프트로는 보장 못 하는 행동 제약이 필요할 때 파인튜닝은 여전히 유효하다. 다만 그건 전체 그림의 한 부품이지, 그 자체로 승부를 가르는 자리는 아니게 됐다.
사람도 모델도 같은 자리
이 그림은 전에 「AI 코딩에서 값이 오른 건 도메인 전문성이다」에서 한 얘기와 정확히 짝을 이룬다. 거기서는 사람 쪽이었다 — 코딩이라는 진입장벽이 무너지자, 성공을 가른 건 코딩 실력이 아니라 문제를 아는 도메인 전문성이었다. 여기서는 모델 쪽이다. 모델 능력이 흔해지자, 승부를 가른 건 모델 가중치가 아니라 도메인 데이터와 워크플로다.
양쪽에서 같은 일이 벌어진다. 흔해지는 것(코딩 실력, 모델 능력)은 해자가 아니고, 흔해지지 않는 것(도메인을 아는 사람, 도메인에 박힌 데이터)이 해자가 된다. 범용 능력이 상향 평준화될수록, 값이 오르는 건 늘 특정 영역을 깊이 아는 쪽이다. 모델을 누가 더 잘 만드느냐의 경쟁이, 어느새 도메인을 누가 더 잘 아느냐의 경쟁으로 바뀌어 있었다.