QA · 테스트 자동화·도구

티벨, LLM 평가·검증 자동화 시스템 T-LENS 공식 런칭

LLM 기반 서비스의 품질을 자동으로 평가하고 검증하는
LLM 평가·스코어링 시스템 ‘T-LENS(TBELL LLM Evaluation and Scoring System)’를 공식 런칭했습니다.

T-LENS는 AI 챗봇과 생성형 AI 서비스의 응답 품질을 대상으로
정량·정성 평가를 자동으로 수행하고, 평가 결과를 통합 관리할 수 있도록 만든 LLM 품질 검증 시스템입니다.

특히LLM-as-a-Judge방식을 활용해 응답 품질을 점수와 평가 사유로 산출하고,
서비스 버전 변경이나 신규 LLM 적용 전후의 품질 변화를 비교할 수 있도록 구성한 것이 특징입니다.


T-LENS는 어떤 LLM 평가 시스템일까?

생성형 AI와 LLM 기반 서비스가 확대되면서
기존 소프트웨어와는 다른 품질 검증이 필요해지고 있습니다.

일반적인 소프트웨어 테스트에서는
정해진 입력에 대해 예상한 결과가 나오는지를 비교적 명확하게 확인할 수 있습니다.

반면 LLM은 같은 질문에도 표현이나 답변 구성이 달라질 수 있고,
문장 자체는 자연스럽더라도 사용자의 의도와 다른 답변이나 사실과 맞지 않는 결과를 생성할 수 있습니다.

따라서 LLM 기반 서비스를 검증하려면 단순히 답변 생성 여부를 확인하는 것이 아니라
응답의 정확성, 적절성, 일관성 등 서비스에 필요한 품질 기준을 정하고 지속적으로 평가하는 과정이 필요합니다.

T-LENS는 이러한 LLM 평가 과정을 자동화하고 결과를 체계적으로 관리하기 위해 개발됐습니다.

구분

내용

솔루션

T-LENS

주요 목적

LLM 기반 서비스 품질 평가 및 검증 자동화

평가 방식

LLM-as-a-Judge

평가 결과

점수(Score) 및 평가 사유(Reason)

주요 활용

AI 챗봇·생성형 AI 서비스 품질 검증

비교 기능

버전 변경 전후 및 신규 모델 적용 전후 품질 비교

지원 환경

모바일(Android/iOS), 웹 등

인프라

AWS 기반


LLM-as-a-Judge를 활용한 AI 품질 평가

T-LENS의 핵심 기능 중 하나는LLM-as-a-Judge 방식의 자동 평가입니다.
LLM-as-a-Judge는
하나의 LLM이 생성한 응답을 다른 LLM이 사전에 정의된 기준에 따라 평가하도록 구성하는 방식입니다.

T-LENS에서는 챗봇 검증을 위한
질문·응답 데이터셋을 기반으로 평가 프롬프트를 생성하고,
다양한 LLM Judge 모델을 활용해 서비스가 생성한 응답을 평가합니다.

평가 결과는 단순한 성공·실패 형태가 아니라
품질 점수와 해당 점수가 산출된 이유(Reason)를 함께 제공하도록 구성돼 있습니다.

이를 통해 사람이 응답 하나하나를 직접 확인하는 방식보다
반복적인 평가 업무를 자동화하면서,
동일한 기준에 따라 결과를 비교하고 관리할 수 있는 환경을 만들 수 있습니다.


LLM 품질 검증에서 자동화가 필요한 이유

AI 챗봇이나 생성형 AI 서비스를 운영하면
검증해야 할 질문과 응답의 수가 빠르게 늘어날 수 있습니다.

특히 다음과 같은 상황에서는 기존에 확인했던 항목도 반복적으로 다시 검증해야 합니다.

  • 사용 중인 LLM 모델이 변경된 경우

  • 새로운 모델을 적용하는 경우

  • 프롬프트가 수정된 경우

  • 서비스 정책이나 데이터가 변경된 경우

  • 새로운 기능이나 시나리오가 추가된 경우

이러한 변화를 사람이 매번 직접 확인하면
검증에 필요한 시간과 리소스도 함께 증가합니다.

T-LENS는 반복적으로 수행되는 LLM 평가를 자동화해
모델이나 서비스가 변경됐을 때 이전 버전과 품질을 비교하고,
응답 품질에 변화가 발생했는지를 지속적으로 확인할 수 있도록 지원합니다.

즉, 한 번의 평가보다
서비스 변화에 따라 AI 품질을 반복적으로 검증하는 환경을 구축하는 것에 초점을 두고 있습니다.


서비스 전체 흐름을 확인하는 End-to-End LLM 품질 검증

LLM 기반 서비스의 품질을 평가할 때는
모델의 단일 응답만 확인해서는 실제 서비스 품질을 충분히 파악하기 어렵습니다.

사용자가 질문을 입력하고, 서비스가 해당 요청을 처리해 LLM에 전달한 뒤,
생성된 응답이 실제 화면에 제공되기까지 여러 단계가 연결돼 있기 때문입니다.

T-LENS는 이러한 실제 서비스 시나리오를 기반으로
End-to-End 방식의 AI 서비스 품질 검증을 지원합니다.

이를 통해 기업은
사용자의 질문부터 최종 응답까지 서비스 전체 흐름을 기준으로 품질을 평가하고,
실제 사용자 환경에서 AI 서비스가 의도한 수준의 결과를 제공하는지 확인할 수 있습니다.


버전 변경 전후 LLM 품질을 어떻게 비교할까?

LLM 기반 서비스를 운영하면서 어려운 부분 중 하나는
모델이나 서비스가 변경된 뒤 실제 품질이 좋아졌는지,
혹은 특정 영역에서 오히려 낮아졌는지를 확인하는 것입니다.

예를 들어 새로운 LLM을 적용했을 때 일부 질문에서는 답변이 개선될 수 있지만,
다른 질문에서는 기존 모델보다 품질이 떨어질 수도 있습니다.

T-LENS는 동일한 평가 데이터와 기준을 활용해
변경 전후의 응답을 비교할 수 있도록 구성됐습니다.

이를 통해

  • 기존 모델과 신규 모델 비교

  • 서비스 업데이트 전후 비교

  • 프롬프트 변경 전후 비교

  • 평가 항목별 점수 변화 확인

등을 수행할 수 있습니다.

이러한 비교 과정은
새로운 AI 모델을 실제 서비스에 적용하기 전에
품질 안정성을 확인하는 검증 단계로 활용할 수 있습니다.


서비스에 맞게 LLM 평가 기준을 설정

모든 AI 서비스에 동일한 평가 기준을 적용할 수 있는 것은 아닙니다.

예를 들어 고객 상담 챗봇에서는
질문 의도를 정확히 파악하고 적절한 답변을 제공하는 것이 중요할 수 있고,

정보 제공 서비스에서는 답변의 정확성과 근거가 더 중요한 평가 항목이 될 수 있습니다.

T-LENS는 기업과 서비스의 특성에 맞게
평가 지표와 평가 항목을 설정할 수 있도록 구성돼 있습니다.

이를 통해 기업은 서비스 목적에 따라 필요한 품질 기준을 정의하고,
해당 기준을 중심으로 LLM 응답을 반복적으로 평가할 수 있습니다.

즉, 단일 평가 방식만 제공하는 것이 아니라
서비스별 요구사항에 맞는 LLM 품질 관리 체계를 구축할 수 있도록 지원하는 방식입니다.


모바일과 웹에서도 AI 서비스 품질 검증

T-LENS는AWS 기반 아키텍처로 설계됐으며,
AWS Device Farm을 활용해
Android와 iOS 모바일 환경뿐 아니라 웹 환경에서도 테스트를 수행할 수 있도록 지원합니다.

LLM의 응답 품질 자체가 동일하더라도 실제 서비스 환경에서는
디바이스나 플랫폼에 따라 사용자 흐름이나 기능 동작이 달라질 수 있습니다.

따라서 실제 AI 서비스를 검증할 때는 모델만 따로 평가하는 것뿐 아니라
AI가 적용된 실제 서비스 환경에서 정상적으로 동작하는지 함께 확인하는 과정도 중요합니다.

T-LENS는 평가 결과를 대시보드에서 확인할 수 있도록 구성해
테스트 결과와 품질 변화도 보다 직관적으로 관리할 수 있도록 지원합니다.


반복적인 AI 품질 검증 업무를 자동화

LLM 기반 서비스의 품질 검증에서는 질문을 입력하고 답변을 수집한 뒤,
정해진 평가 기준에 따라 결과를 확인하고 이전 결과와 비교하는 과정이 반복적으로 발생합니다.

서비스 규모가 커지고 평가 대상이 늘어날수록
QA 담당자가 직접 처리해야 할 업무도 증가합니다.

T-LENS는 이러한 반복 업무를 자동화함으로써
QA 인력이 개별 응답 확인에 사용하는 리소스를 줄이고,
보다 중요한 품질 기준 설계와 분석에 집중할 수 있는 환경을 만드는 것을 목표로 합니다.

자동화된 평가 결과를 지속적으로 축적하면
AI 서비스의 품질 변화를 추적하고,
어떤 영역에서 개선이나 추가 검증이 필요한지도 확인할 수 있습니다.


소프트웨어 QA에서 AI 품질 검증으로 확장하는 티벨

티벨은 기존 소프트웨어 QA와 테스트 자동화 경험을 기반으로
최근에는AI와 LLM 기반 서비스의 품질 검증 영역까지 테스트 기술을 확대하고 있습니다.

기존 소프트웨어의 기능 검증에서는
정해진 요구사항대로 정상적으로 동작하는지를 확인했다면,

생성형 AI 환경에서는AI가 만들어낸 결과를 얼마나 신뢰할 수 있는지,
서비스에서 지속적으로 일정한 품질을 유지하고 있는지를 평가하는 과정이 중요해지고 있습니다.

T-LENS는 이러한 변화에 대응해
LLM 평가 → 자동 스코어링 → 결과 분석 → 버전 비교 → 지속적인 품질 관리까지
AI 서비스의 검증 과정을 하나의 흐름으로 연결하는 시스템입니다.

티벨은 T-LENS를 시작으로
AI 테스트 자동화와 테스트 케이스 자동 생성 등
AI 기반 품질 검증 솔루션을 지속적으로 확대할 계획입니다.