청킹 라이브러리는 어쩌다 YC까지 갔나 — 팔린 것은 똑똑함이 아니라 가벼움이었다
RAG 튜토리얼에서 한 줄로 지나가는 전처리 잡일, 청킹. 그 한 단계만 파는 라이브러리가 월 119만 다운로드를 받고 YC를 통과해 회사가 됐다. 흥미로운 건 그 다음이다. '33배 빠름'은 최하위 경쟁자 대비였고 1위와는 1.06배, '100GB/s'는 토큰 세기를 포기한 숫자였으며, 창업자 스스로 HN에서 '완벽한 분할은 검색 품질을 거의 못 움직인다'고 인정했다. 그런데도 다운로드는 계속 늘었다. 시맨틱 청킹이 단순 recursive를 못 이긴다는 실증 연구가 쌓이는 지형에서 사람들이 진짜 산 것은 무엇이었는지, long context 시대에 청킹이 살아남은 이유, 청커 11종에서 뭘 골라야 하는지, 그리고 회사가 피벗해도 라이브러리가 남는 오픈소스의 결말까지 해부했다.
- rag
- retrieval
- chunking
- open-source
- context-engineering