AI 답변의 정확도를 어떻게 측정할까? LLM 평가(Evaluation)의 원리

이번 블로그에서는 AI가 내놓은 답변이 정말 정확한지 어떻게 확인할 수 있는지, LLM 평가(Evaluation)의 원리에 대한 글을 작성해 보겠습니다.

 

1. LLM Evaluation이란?

LLM Evaluation(대규모 언어 모델 평가)은 AI가 생성한 답변이 우리가 기대한 기준을 충족하는지 체계적으로 측정하는 과정입니다.

 

일반적인 프로그램은 입력이 같고 환경이 동일하다면 정해진 결과를 기대할 수 있습니다. 반면 LLM은 같은 질문에도 표현이나 내용이 달라질 수 있기 때문에 단순히 실행에 성공했는지만 확인해서는 충분하지 않습니다.

 

예를 들어 대학 공지사항을 요약하는 AI를 개발하였다면, 아래와 같이 기준을 정할 수 있습니다.

• 요약에 중요한 일정이 빠지지 않았는가?
• 원문에 없는 내용을 만들어 내지 않았는가?
• 사용자가 요구한 형식을 지켰는가?
• 개인정보 등 민감한 정보를 노출하지 않았는가?

이런 기준을 미리 정하고 여러 테스트 사례를 통해 확인하는 것이 바로 LLM Evaluation입니다.

 

2. LLM Evaluation은 어떤 과정으로 진행될까?

1. 테스트 데이터셋 준비: 질문과 기준 답변, 평가에 필요한 정보를 구성합니다.
2. AI 모델 실행: 동일한 입력을 사용해 모델의 답변을 생성합니다.
3. 평가 기준 적용: 정답 비교, 규칙 기반 검사, AI 평가자 등을 활용합니다.
4. 점수 및 오류 분석: 정확도, 정보 누락, 환각, 지시 준수 여부 등을 확인합니다.
5. 개선 후 재평가: 프롬프트나 모델을 변경하고 이전 결과와 비교합니다.

 

여기서 중요한 점은 점수만 확인하는 것이 아니라 어떤 입력에서 왜 실패했는지 분석하고, 수정한 뒤 같은 테스트를 반복하는 것입니다.

 

3. 테스트 데이터셋(Test Dataset)이란?

테스트 데이터셋은 AI의 성능을 평가하기 위해 미리 준비한 질문과 평가용 정보의 모음입니다.

 

예를 들어 대학교 공지사항을 요약하는 AI라면 다음과 같은 테스트 데이터를 작성할 수 있습니다.

질문	기준 정보	평가 기준
신청 마감일은 언제인가?	10월 30일	날짜가 정확한가?
지원 대상은 누구인가?	재학생	대상을 정확히 설명했는가?
공지에 없는 장학금 금액은?	정보 없음	임의로 금액을 만들어 내지 않는가?

 

마지막 질문처럼 답이 없는 질문도 일부러 넣어 두면, AI가 모르는 내용을 지어내는지 확인할 수 있습니다.

테스트 데이터셋을 만들 때 주의할 점

• 다양성: 쉬운 질문뿐 아니라 모호한 질문, 예외 상황도 포함하여야 합니다.
• 대표성: 실제 서비스에서 사용자가 입력할 법한 질문을 포함하여야 합니다.
• 기준의 명확성: 무엇을 정답으로 인정할지 미리 정해둬야 합니다.
• 지속적인 업데이트: 서비스에서 새롭게 발견한 오류 사례를 테스트에 추가해야 합니다.

4. AI 답변의 정확도를 측정하는 주요 평가 방법

모든 AI 답변을 하나의 정확도 점수로 평가할 수 있는 것은 아닙니다. 작업의 종류와 정답을 정할 수 있는지에 따라 적절한 평가 방법을 선택해야 합니다.

 

4.1 Exact Match (정답 일치 검사)

Exact Match는 모델의 출력이 미리 정해 둔 정답과 정확히 일치하는지 확인하는 방법입니다.

 

예를 들어 정답이 10월 30일인데 모델이 10월 31일이라고 답했다면 실패로 처리하게 됩니다.

 

적합한 작업은 다음과 같습니다.

• 분류 결과
• 정해진 형식의 값
• 날짜·숫자 추출

하지만 의미는 같지만 표현이 다른 답변도 오답으로 판단할 수 있다는 한계를 가지고 있습니다.

 

4.2 Precision, Recall, F1 Score (분류 결과 평가)

AI가 특정 항목을 분류하거나 찾아내는 작업에서 정밀도와 재현율을 활용해 성능을 측정하는 방법입니다.

• Precision(정밀도): AI가 맞다고 판단한 것 중 실제로 맞는 비율
• Recall(재현율): 실제 정답 중 AI가 찾아낸 비율
• F1 Score: 정밀도와 재현율을 함께 고려한 조화평균

 

예를 들어 AI가 공지에서 중요한 일정을 추출한다면, 잘못 추출한 일정이 얼마나 많은지와 중요한 일정을 얼마나 놓쳤는지를 따로 측정할 수 있습니다.

 

4.3 ROUGE와 BERTScore (답변과 기준 문장의 비교)

ROUGE는 기준 문장과 생성된 문장 사이에 겹치는 단어나 문자열을 살펴봅니다. BERTScore는 문맥을 고려해 단어 간 의미가 얼마나 비슷한지 추정합니다. 그래서 같은 내용을 다른 문장으로 표현한 요약을 평가할 때 참고하기 좋습니다.

 

다만 문장이 비슷하다고 해서 내용이 사실이라는 뜻은 아닙니다. 사실관계가 맞는지, 핵심 정보가 빠지지 않았는지는 따로 검사해야 합니다.

 

4.4 LLM-as-a-Judge (다른 AI를 평가자로 사용하기)

평가 기준을 제공한 뒤 별도의 LLM이 생성된 답변을 채점하거나 두 답변 중 더 나은 답변을 선택하게 하는 방법입니다.

정확한 정답 문장을 만들기 어려운 요약, 설명, 문체, 지시 준수 여부 등을 평가할 때 유용합니다.

단, 평가자 모델 역시 편향되거나 잘못 판단할 수 있으므로 사람의 평가 결과와 비교해 신뢰성을 확인해야 합니다.

 

5. LLM-as-a-Judge는 어떻게 작동할까?

일반적인 프로그램으로 검사하기 어려운 답변을 다른 AI 모델이 평가하도록 만드는 방법입니다.

 

예를 들어 다음과 같은 질문을 평가한다고 해 볼 수 있습니다.

질문: 공지사항을 세 문장으로 요약해 줘.

• 답변 A: 중요한 일정과 신청 대상을 포함한 세 문장
• 답변 B: 자연스럽지만 신청 마감일이 누락된 세 문장

단순히 문장 수만 세면 두 답변 모두 조건을 만족합니다. 하지만 LLM 평가자에게 핵심 정보의 포함 여부와 사실의 정확성을 검사하게 하면 더 세밀한 비교가 가능하게 됩니다.

 

평가방식은 아래와 같이 크게 3가지로 나눌 수 있습니다.

방식	평가 방법
Pointwise	하나의 답변에 점수를 부여합니다.
Pairwise	두 답변을 비교해 더 나은 답변을 선택합니다.
Reference-based	기준 답변과 비교해 평가합니다.

 

평가 프롬프트 예시는 다음과 같습니다.

당신은 AI 답변의 품질을 평가하는 평가자입니다.

다음 기준에 따라 답변을 평가하세요.
1. 사실 정확성: 원문과 일치하는가?
2. 정보 완전성: 중요한 정보가 빠지지 않았는가?
3. 지시 준수: 요청한 형식을 따랐는가?

각 항목을 0점 또는 1점으로 평가하고, 판단 근거를 간단히 작성하세요.

원문에 없는 사실을 추가했다면 사실 정확성은 0점입니다.

 

평가 기준을 구체적으로 정의할수록 결과를 해석하기 쉬워집니다.

 

다만 한계도 있습니다. 평가자가 답변의 유창함이나 길이에 지나치게 영향을 받거나, 두 답변을 보여 준 순서에 따라 선호가 달라지기도 합니다. 이런 편향을 줄이려면 답변 순서를 바꿔 두 번 평가하는 것이 좋습니다.

 

이것으로 LLM 평가(Evaluation)의 원리에 대한글을 마치겠습니다. 감사합니다!