QA · 전시·행사

티벨, BeSTCon 2025서 LLM 품질 평가 시스템 T-LENS 발표

2025년 10월 21일, 티벨은 서울 코엑스에서 열린
제11회 국제 품질 테스팅 콘퍼런스(BeSTCon 2025)에 참가해
거대언어모델(LLM) 품질 평가·검증 자동화 시스템 ‘T-LENS(티렌즈)’를 발표했습니다.

이번 행사에서는 생성형 AI 서비스의 품질과 신뢰성을 평가하는 방법과 함께,
AWS Device Farm을 활용한 원격 테스트 환경 및 AI 기반 음성 테스트 자동화 기술을 소개했습니다.

특히 LLM의 정성적·기능적 품질을 통합 평가하고,
반복적인 검증을 통해 AI 서비스의 품질을 관리하는 기술을 중심으로 실제 적용 사례를 공유했습니다.


BeSTCon 2025에서 소개한 AI 품질 검증 기술

BeSTCon은 소프트웨어 테스트 및 품질 분야의 기술과 적용 사례를 공유하는 콘퍼런스입니다.

티벨은 이번 행사에서 LLM 품질 평가 시스템 T-LENS를 중심으로
AI 서비스의 검증 자동화 기술과 적용 사례를 발표했습니다.

구분

내용

행사

BeSTCon 2025 (제11회 국제 품질 테스팅 콘퍼런스)

일시

2025년 10월 21일

장소

서울 코엑스

참가 기업

티벨(TBELL)

발표자

이혜진 이사

주요 발표

LLM 품질 평가 시스템 T-LENS

주요 기술

LLM 품질 평가, 테스트 자동화, E2E 검증

연계 환경

AWS Device Farm

추가 소개

VUX 기반 AI 음성 테스트 자동화

이번 발표에서는 AI 모델의 응답 품질을 평가하는 것뿐 아니라,
실제 서비스 환경에서 반복적으로 품질을 검증하고 관리하는 방법을 소개했습니다.



LLM 품질 평가 시스템 T-LENS란?

T-LENS는 티벨이 개발한 LLM 품질·신뢰성 평가 자동화 시스템입니다.

생성형 AI는 동일한 질문에도 다양한 응답을 생성할 수 있기 때문에,
기존 소프트웨어처럼 하나의 예상 결과와 비교하는 방식만으로 품질을 평가하기 어렵습니다.

따라서 LLM 서비스에서는 응답의 적절성과 일관성뿐 아니라
실제 서비스에서 요구하는 기능이 정상적으로 수행되는지도 함께 검증해야 합니다.

티벨이 발표한 T-LENS는 정성적 지표와 기능적 지표를 통합해
LLM 서비스의 품질을 평가하는 방식을 특징으로 합니다.

이를 통해 AI 서비스의 품질을 평가하고,
모델 변경이나 서비스 개선 이후에도 반복적으로 검증할 수 있는 환경을 지원합니다.

LLM 품질은 어떻게 평가할까?

LLM 품질 평가는 단순히 AI가 정답을 생성했는지 확인하는 과정에 그치지 않습니다.
서비스 목적과 평가 기준에 따라 여러 관점에서 결과를 검증해야 합니다.

평가 항목

주요 검증 내용

응답 품질

질문 의도에 적합한 응답을 생성하는지

정성적 평가

응답의 적절성·일관성 등 품질 특성

기능적 평가

서비스에서 요구하는 기능이 정상적으로 수행되는지

반복 평가

동일한 평가 기준으로 품질을 지속적으로 확인할 수 있는지

버전 비교

모델 및 서비스 변경 전후의 품질 차이

위 항목은 LLM 서비스에서 고려할 수 있는 대표적인 평가 관점입니다.

T-LENS는 이 가운데 정성적·기능적 평가를 통합하고 반복적인 검증을 자동화하는 기술을 중심으로 소개됐습니다.
이를 통해 모델 및 서비스 변경에 따른 품질 변화를 확인하고, 평가 결과를 개선 과정에 활용할 수 있습니다.


AWS Device Farm을 활용한 원격 품질 검증

이번 BeSTCon 2025에서는 AWS Device Farm과 연계한 원격 테스트 환경도 소개됐습니다.

AI 서비스의 품질을 검증하려면 모델의 응답뿐 아니라
실제 사용자가 서비스를 이용하는 환경에서 기능이 정상적으로 동작하는지도 확인해야 합니다.

AWS Device Farm은 클라우드 환경에서
다양한 디바이스를 활용해 애플리케이션을 테스트할 수 있도록 지원하는 서비스입니다.

티벨은 이를 활용해 원격으로 엔드투엔드(E2E) 수준의 품질 검증을 수행한 사례를 발표했습니다.

이러한 검증 환경은 다음과 같은 목적으로 활용할 수 있습니다.

  • 반복 테스트 효율화: 동일한 검증 과정을 반복 수행

  • 버전 간 성능 비교: 서비스 변경 전후의 품질 변화 확인

  • 운영 안정성 확보: 실제 디바이스 환경에서 서비스 동작 검증

  • 신속한 피드백: 평가 결과를 서비스 및 모델 개선 과정에 활용

티벨은 이러한 접근을 통해 개별 디바이스에 대한 의존도를 줄이면서
다양한 환경에서 품질을 검증하는 방식을 소개했습니다.


AI 음성 테스트 자동화 기술도 함께 소개

티벨은 LLM 품질 평가 시스템과 함께
VUX(Voice User Experience) 기반 AI 음성 테스트 자동화 기술도 소개했습니다.

AI Contact Center와 같은 음성 기반 서비스에서는
사용자의 발화에 따라 AI의 응답과 상담 흐름이 달라질 수 있습니다.

따라서 음성이 정상적으로 인식되는지뿐 아니라,
사용자의 발화에 대해 적절한 응답이 제공되는지도 검증해야 합니다.

티벨은 이러한 검증 과정에 다음 기술을 활용했습니다.

  • STT(Speech-to-Text): 음성을 텍스트로 변환

  • TTS(Text-to-Speech): 텍스트를 음성으로 변환

  • NLP(자연어 처리): 발화와 응답을 분석하는 데 활용

이를 통해 발화된 음성과 AI의 응답을 비교·분석하고 유사도를 측정하는 음성 테스트 자동화 기술을 소개했습니다.
또한 검증 결과를 프로젝트 관리 협업 도구인 Jira에 자동으로 업데이트하는 방식도 설명했습니다.

이는 티벨이 BeSTCon 2024에서 발표한 AI Contact Center 음성 테스트 자동화 기술과도 연결되는 분야입니다.


AI 서비스 품질 검증 기술을 확대하는 티벨

티벨은 소프트웨어 테스트 및 품질관리 분야에서 축적한 경험을 바탕으로
AI 서비스의 품질 평가와 검증 자동화 기술을 확대해 왔습니다.

특히 SKT 챗봇 LLM 평가 시스템 구축 프로젝트를 비롯해
다양한 고객사에 전문적인 테스트 서비스를 제공하며 LLM 기반 서비스의 품질 검증 경험을 축적했습니다.

또한 BeSTCon을 통해 관련 기술과 적용 사례를 지속적으로 공유해 왔습니다.
2024년에는 AI Contact Center 음성 테스트 자동화 기술을,
2025년에는 LLM 품질 평가 시스템 T-LENS와 AWS Device Farm 기반 원격 검증 사례를 소개했습니다.

생성형 AI의 활용이 확대되면서 AI 응답의 품질뿐 아니라
실제 서비스 환경에서의 안정성과 신뢰성을 검증하는 중요성도 커지고 있습니다.

티벨은 앞으로도 실제 프로젝트에서 축적한 경험을 바탕으로
AI 서비스의 품질과 신뢰성을 확보하기 위한 평가·검증 기술을 지속적으로 고도화해 나갈 계획입니다.