기술 트렌드

벤치마크 점수로는 부족하다… LLM 평가(Evals)의 시대

휴먼에이아이2026.11.14

LLM을 서비스에 붙이는 일보다 그 결과가 믿을 만한지 증명하는 일이 더 어려워졌습니다. 공개 벤치마크의 한계와 LLM-as-a-judge, 평가 데이터셋 설계, 운영 단계 모니터링까지 LLM 평가(Evals)의 핵심 개념과 실무 흐름을 정리합니다.

생성형 AI를 도입하는 조직이 늘면서 개발 현장의 질문도 달라졌습니다. 예전에는 LLM을 어떻게 연결하느냐가 관심사였다면, 지금은 이 결과를 믿어도 되느냐, 프롬프트나 모델을 바꿨을 때 품질이 좋아졌는지 나빠졌는지 어떻게 아느냐가 더 중요해졌습니다. 이 질문에 답하는 작업을 업계에서는 흔히 평가, 영어로 Evals라고 부릅니다. 이 글에서는 LLM 평가가 왜 별도의 기술 영역으로 자리 잡았는지, 실무에서는 어떤 방식으로 이루어지는지 정리해 봅니다.

【왜 평가가 어려운가】 전통적인 소프트웨어 테스트는 입력이 같으면 출력도 같다는 전제 위에 서 있습니다. 함수에 2와 3을 넣으면 5가 나와야 하고, 아니면 실패입니다. 그러나 LLM은 같은 질문에도 표현이 다른 답을 내놓을 수 있고, 정답이 하나로 정해지지 않는 요약·작문·상담 같은 과제가 많습니다. 문장이 다르다고 틀린 것도 아니고, 문장이 그럴듯하다고 옳은 것도 아닙니다. 그래서 단순한 문자열 비교만으로는 품질을 판단하기 어렵고, 무엇을 좋은 답으로 볼지 기준부터 설계해야 합니다.

【공개 벤치마크의 한계】 모델이 새로 나올 때마다 MMLU, GSM8K, HumanEval, SWE-bench 같은 벤치마크 점수가 함께 발표됩니다. 이런 점수는 모델의 일반적인 능력을 비교하는 데 유용하지만, 특정 서비스의 품질을 보장해 주지는 않습니다. 몇 가지 이유가 있습니다. 상위 모델들의 점수가 비슷해지면서 변별력이 떨어지는 포화 현상이 나타나고, 벤치마크 문제가 학습 데이터에 섞여 들어가 점수가 부풀려지는 데이터 오염 문제도 꾸준히 지적됩니다. 무엇보다 사내 문서 기반 질의응답이나 고객 응대처럼 실제 업무는 벤치마크와 성격이 다릅니다. 그래서 많은 팀이 공개 점수는 참고만 하고, 자기 서비스에 맞춘 평가 체계를 따로 만듭니다.

【평가 데이터셋 설계가 출발점】 실무 평가의 핵심은 골든 데이터셋이라 불리는 기준 데이터입니다. 실제 사용자 질문이나 예상 시나리오를 모아 입력과 기대 결과, 또는 판단 기준을 함께 정리한 것입니다. 처음부터 수천 건을 만들 필요는 없고, 수십에서 수백 건 정도라도 대표적인 사례와 자주 실패하는 경계 사례를 골고루 담는 것이 중요합니다. 운영 중 발견된 실패 사례를 계속 추가하면 데이터셋은 점점 서비스의 약점을 정확히 비추는 거울이 됩니다. 일종의 회귀 테스트 모음이라고 보면 이해하기 쉽습니다.

【채점 방식의 세 갈래】 채점 방법은 크게 세 가지로 나뉩니다. 첫째는 코드 기반 채점으로, 출력이 지정한 JSON 형식을 지키는지, 특정 키워드나 숫자가 포함됐는지, 생성된 코드가 테스트를 통과하는지처럼 규칙으로 확인할 수 있는 항목을 검사합니다. 빠르고 저렴하며 결과가 일관적이라는 장점이 있습니다. 둘째는 사람 평가로, 가장 신뢰도가 높지만 비용과 시간이 많이 듭니다. 셋째가 최근 널리 쓰이는 LLM-as-a-judge 방식으로, 다른 LLM에게 채점 기준을 주고 답변을 평가하게 하는 방법입니다. 실무에서는 이 세 가지를 섞어서 쓰는 경우가 일반적입니다.

【LLM-as-a-judge의 장점과 주의점】 LLM을 심판으로 쓰면 정답이 하나로 정해지지 않는 과제도 대량으로 빠르게 채점할 수 있습니다. 다만 연구와 실무 경험을 통해 알려진 편향이 있습니다. 두 답변을 비교할 때 먼저 제시된 쪽을 선호하는 위치 편향, 길고 장황한 답변을 더 좋게 보는 경향, 자신과 같은 계열 모델의 답변을 후하게 평가하는 경향 등이 대표적입니다. 이를 줄이기 위해 답변 순서를 바꿔 두 번 채점하거나, 막연히 좋은지 묻는 대신 근거 문서에 없는 내용을 지어냈는지 같은 구체적인 기준을 제시하는 방법이 쓰입니다. 또한 일부 표본은 사람이 직접 채점해 심판 모델의 판단과 얼마나 일치하는지 주기적으로 확인하는 것이 좋습니다.

【RAG와 에이전트는 단계별로 본다】 검색 증강 생성(RAG) 시스템은 최종 답변만 보면 문제의 원인을 찾기 어렵습니다. 그래서 검색 단계에서 관련 문서를 제대로 가져왔는지, 생성 단계에서 그 문서에 충실하게 답했는지, 질문과 답변이 서로 관련 있는지를 나눠서 측정합니다. Ragas 같은 오픈소스 도구가 이런 지표를 제공합니다. 여러 도구를 호출하며 작업을 수행하는 AI 에이전트는 더 복잡해서, 최종 결과뿐 아니라 어떤 도구를 어떤 순서로 호출했는지, 불필요한 단계는 없었는지 실행 경로 전체를 살펴보는 방식이 함께 쓰입니다.

【개발 흐름에 녹아드는 평가】 평가는 한 번 하고 끝나는 작업이 아니라 개발 과정에 상시 포함되는 단계로 바뀌고 있습니다. 프롬프트를 수정하거나 모델 버전을 바꾸면 평가 데이터셋을 자동으로 돌려 점수 변화를 확인하고, 기준 이하로 떨어지면 배포를 막는 식입니다. promptfoo, DeepEval, OpenAI Evals 같은 오픈소스 도구와 LangSmith, Langfuse 같은 추적·평가 플랫폼이 이런 흐름을 지원합니다. 도구마다 기능과 철학이 다르므로 특정 도구의 사용법보다는 데이터셋, 채점 기준, 자동화라는 공통 구조를 이해하는 것이 더 오래 쓰이는 역량입니다.

【운영 단계의 온라인 평가】 배포 전 평가만으로는 충분하지 않습니다. 실제 사용자는 개발자가 예상하지 못한 질문을 던지기 때문입니다. 그래서 운영 중인 서비스의 입력과 출력을 기록하고, 일부를 표본 추출해 자동 채점하거나 사용자의 좋아요·싫어요 같은 피드백을 수집하는 온라인 평가가 함께 이루어집니다. 여기서 발견된 실패 사례는 다시 오프라인 평가 데이터셋에 추가되어 다음 개선의 기준이 됩니다. 이렇게 수집과 평가, 개선이 순환하는 구조가 안정적인 LLM 서비스 운영의 기본 틀로 자리 잡고 있습니다. 다만 사용자 데이터를 기록할 때는 개인정보 처리 기준을 반드시 함께 검토해야 합니다.

【취업 준비생과 전직 희망자에게 주는 시사점】 LLM 기반 서비스를 만든 경험을 이야기할 때, 무엇을 만들었는지만큼 그것이 잘 동작한다는 것을 어떻게 확인했는지가 중요한 평가 요소가 되고 있습니다. 개인 프로젝트에서도 작은 평가 데이터셋을 만들고, 프롬프트나 모델을 바꿨을 때 지표가 어떻게 변했는지 기록해 두면 문제를 정의하고 검증하는 역량을 구체적으로 보여줄 수 있습니다. 이는 소프트웨어 테스트, 데이터 분석, 통계적 사고와 맞닿아 있어 기존 개발이나 QA, 데이터 직무 경험이 있는 사람에게도 자연스러운 확장 영역입니다.

정리하면, LLM 평가는 모델을 고르는 일에서 시작해 서비스 품질을 지속적으로 관리하는 일로 범위가 넓어졌습니다. 공개 벤치마크는 출발점일 뿐이고, 자기 문제에 맞는 데이터셋과 채점 기준을 세우는 것이 핵심입니다. 생성형 AI가 점점 더 많은 업무에 쓰일수록, 그 결과를 측정하고 설명할 수 있는 능력의 가치는 더 커질 것으로 보입니다.