이번 블로그에서는 AI가 내놓은 답변이 정말 정확한지 어떻게 확인할 수 있는지, LLM 평가(Evaluation)의 원리에 대한 글을 작성해 보겠습니다. 1. LLM Evaluation이란?LLM Evaluation(대규모 언어 모델 평가)은 AI가 생성한 답변이 우리가 기대한 기준을 충족하는지 체계적으로 측정하는 과정입니다. 일반적인 프로그램은 입력이 같고 환경이 동일하다면 정해진 결과를 기대할 수 있습니다. 반면 LLM은 같은 질문에도 표현이나 내용이 달라질 수 있기 때문에 단순히 실행에 성공했는지만 확인해서는 충분하지 않습니다. 예를 들어 대학 공지사항을 요약하는 AI를 개발하였다면, 아래와 같이 기준을 정할 수 있습니다.요약에 중요한 일정이 빠지지 않았는가?원문에 없는 내용을 만들어 내지 않았는가..