회사소식 · 성과·활동

티벨 수행 SK텔레콤 AI·LLM 품질 검증 프로젝트, 대한민국 AI·SW 테스팅 우수사례 대상 선정

2025년 10월, 소프트웨어 QA 및 테스트 전문기업티벨(TBELL)이 수행한
SK텔레콤의‘차세대 QA를 위한 AI·LLM 품질 검증 시스템 구축’ 프로젝트가
‘대한민국 AI·SW 테스팅 우수사례 대상’에서 대상에 선정됐습니다.

이번 프로젝트는 AI와 LLM을 실제 품질 검증 업무에 적용해
차세대 QA 환경을 구축한 사례로,

티벨이 축적해 온소프트웨어 테스트 및 AI 품질 검증 역량이
실제 기업 프로젝트를 통해 인정받았다는 점에서 의미가 있습니다.


대한민국 AI·SW 테스팅 우수사례 대상으로 선정된 SK텔레콤 프로젝트

‘대한민국 AI·SW 테스팅 우수사례 대상’은
한국소프트웨어테스팅협회가 AI 및 소프트웨어 테스팅 분야의 우수 프로젝트를 발굴하고,
산업 현장에서 활용할 수 있는 실제 사례를 공유하기 위해 진행하는 행사입니다.

2025년에는 티벨이 수행한 SK텔레콤의
‘차세대 QA를 위한 AI·LLM 품질 검증 시스템 구축’ 프로젝트가 대상으로 선정됐습니다.

구분

내용

행사

대한민국 AI·SW 테스팅 우수사례 대상

주관

한국소프트웨어테스팅협회

수상 프로젝트

차세대 QA를 위한 AI·LLM 품질 검증 시스템 구축

발주·적용 기업

SK텔레콤

수행 기업

티벨(TBELL)

주요 분야

AI 품질 검증, LLM 품질 검증, 소프트웨어 QA

주요 목적

AI·LLM 기반 차세대 QA 및 품질 검증 환경 구축

이번 프로젝트는 단순히 새로운 테스트 도구를 도입한 사례가 아니라,

AI와 LLM을 품질 검증 프로세스에 적용해
기존 QA 업무를 어떻게 확장할 수 있는지를 보여준 사례라는 점에서 주목받았습니다.


AI·LLM 품질 검증은 왜 필요할까?

기존 소프트웨어 테스트에서는
기능이 정상적으로 동작하는지, 오류가 발생하지 않는지 등을 중심으로 검증합니다.

하지만 생성형 AI와 LLM 기반 서비스에서는
기존 소프트웨어와 다른 품질 문제가 발생할 수 있습니다.

같은 질문에도 답변이 달라질 수 있고,
문법적으로 자연스러운 답변이라도 사실과 다른 내용을 생성하거나,
사용자가 기대한 의도와 다른 결과를 제공할 수 있기 때문입니다.

따라서 AI·LLM 품질 검증에서는 단순한 정상 동작 여부를 넘어

  • 답변의 정확성

  • 결과의 일관성

  • 사용자 의도와의 적합성

  • 비정상·예외 상황 대응

  • 다양한 입력에 대한 안정성

등을 함께 평가해야 합니다.

이러한 특성 때문에 AI 서비스의 품질을 관리하기 위해서는
기존 기능 테스트와는 다른 검증 기준과 평가 체계가 필요합니다.


차세대 QA를 위한 AI·LLM 품질 검증

SK텔레콤의 이번 프로젝트는 이러한 AI 서비스의 특성을 고려해
AI와 LLM을 대상으로 한 품질 검증 시스템을 구축하는 것에 초점을 맞췄습니다.

기존 QA 업무에서는
사전에 정의된 기능과 테스트 케이스를 기준으로 결과를 확인하는 방식이 일반적이지만,

LLM 기반 서비스에서는
입력 조건과 맥락에 따라 결과가 달라질 수 있습니다.

따라서 하나의 정답만 확인하는 방식보다
다양한 테스트 데이터를 기반으로 모델 응답을 반복적으로 평가하고,
검증 결과를 일정한 기준으로 관리할 수 있는 환경이 중요합니다.

티벨은 프로젝트 수행 과정에서
소프트웨어 품질 검증 경험을 바탕으로
AI·LLM의 특성을 고려한 테스트 및 품질 검증 체계를 구축하는 데 참여했습니다.


기존 소프트웨어 테스트와 AI 품질 검증의 차이

기존 소프트웨어 테스트와 AI·LLM 품질 검증은
모두 서비스의 신뢰성을 확인한다는 점에서는 같지만, 검증 대상과 방법에는 차이가 있습니다.

기존 소프트웨어에서는
특정 입력에 대해 예상한 결과가 나오는지를 비교적 명확하게 판단할 수 있습니다.

예를 들어 버튼을 눌렀을 때
정해진 화면으로 이동하는지, 입력한 데이터가 정상적으로 저장되는지 등을 확인할 수 있습니다.

반면 LLM은 같은 입력에도 표현이나 답변 구성이 달라질 수 있습니다.

따라서 AI 품질 검증에서는
결과가 완전히 동일한지를 확인하는 것보다

응답이 정해진 품질 기준을 충족하는지를 평가하는 과정이 중요합니다.

이 때문에 AI 서비스에서는
기능 검증과 함께 별도의 평가 기준과 테스트 데이터를 설계해야 합니다.


AI 시대의 QA는 어떻게 달라질까?

AI와 LLM이 서비스에 적용되면서 QA의 역할도 점차 확대되고 있습니다.

과거에는 개발된 기능이
요구사항에 맞게 정상적으로 동작하는지를 확인하는 업무가 중심이었다면,

AI 서비스에서는 모델이 생성하는 결과의 품질과 신뢰성까지 검증 범위에 포함해야 합니다.

즉,
기능이 동작하는가?
뿐만 아니라
AI가 제공한 결과를 실제 서비스에서 신뢰할 수 있는가?
까지 확인해야 하는 것입니다.

이를 위해서는
테스트 케이스를 설계하는 방식과 결과를 판단하는 기준,
그리고 테스트 결과를 반복적으로 관리하는 방식 역시 AI 서비스의 특성에 맞게 변화해야 합니다.

이번 SK텔레콤 프로젝트 역시
이러한 변화에 대응하는차세대 QA 환경 구축 사례로 볼 수 있습니다.


AI 품질 검증에서도 자동화가 필요한 이유

LLM 품질을 검증하기 위해 모든 질문과 답변을 사람이 직접 확인한다면,
검증해야 할 데이터가 늘어날수록 많은 시간과 리소스가 필요합니다.

특히 모델이 업데이트되거나 프롬프트, 데이터, 서비스 정책 등이 변경되면
기존에 확인했던 항목도 다시 검증해야 할 수 있습니다.

따라서 실제 AI 서비스 운영에서는
반복적으로 수행할 수 있는 평가 항목을 자동화하고,
사람의 판단이 필요한 영역과 구분해 운영하는 구조가 중요합니다.

AI·LLM 품질 검증 시스템을 구축하면
테스트 데이터와 평가 기준을 관리하면서 모델 변경 전후의 결과를 반복적으로 비교하고,
품질 변화를 지속적으로 확인하는 환경을 구성할 수 있습니다.

이는 기존 테스트 자동화와 TestOps가
AI 품질 검증 영역으로 확장되는 과정과도 연결됩니다.


티벨의 소프트웨어 QA 경험을 AI 품질 검증으로 확장

티벨은 소프트웨어 QA 및 테스트 분야에서 다양한 프로젝트를 수행하며
기능 테스트와 테스트 자동화, TestOps 등 소프트웨어 품질 검증 경험을 축적해 왔습니다.

최근에는 AI와 LLM 활용이 확대되면서 기존 소프트웨어 테스트뿐 아니라
AI가 생성하는 결과의 신뢰성과 품질을 평가하는 영역까지
검증 범위를 확대하고 있습니다.

이번 SK텔레콤의 ‘차세대 QA를 위한 AI·LLM 품질 검증 시스템 구축’ 프로젝트 대상 선정은
이러한 티벨의 품질 검증 경험이 실제 AI·LLM 기반 QA 프로젝트로 확장된 사례라는 점에서 의미가 있습니다.

앞으로도 티벨은 기존 소프트웨어 테스트 경험과 AI 품질 검증 기술을 연계해
AI 서비스와 LLM의 품질을 지속적으로 평가하고 관리할 수 있는
차세대 QA 및 테스트 환경 구축을 이어갈 예정입니다.