LLM 시스템은 측정 없이 개선할 수 없습니다. 왜 기능보다 평가를 먼저 세워야 하는지, 자동 지표→LLM-as-Judge→사람으로 이어지는 3계층 평가 아키텍처, LLM-as-Judge의 4가지 편향(position·verbosity·self-preference·과신)과 완화법, 도구 지형(DeepEval·Ragas·Langfuse·Phoenix·Braintrust), 그리고 안티패턴 5가지를 정리했습니다.
LLM 시스템은 측정 없이 개선할 수 없습니다. 왜 기능보다 평가를 먼저 세워야 하는지, 자동 지표→LLM-as-Judge→사람으로 이어지는 3계층 평가 아키텍처, LLM-as-Judge의 4가지 편향(position·verbosity·self-preference·과신)과 완화법, 도구 지형(DeepEval·Ragas·Langfuse·Phoenix·Braintrust), 그리고 안티패턴 5가지를 정리했습니다.