셀렉트스타 가 인공지능(AI) 서비스의 오류와 위험성을 사전에 식별할 수 있는 신뢰성 검증 자동화 솔루션을 출시했다.
20일 셀렉트스타는 AI 신뢰성 검증 프로세스를 자동화하는 ‘다투모 이밸(Datumo Eval)’을 공개하며 AI 신뢰성 강화에 나섰다.
다투모 이밸은 AI 서비스 운영 과정에서 발생할 수 있는 다양한 오류와 위험 요소를 자동으로 감지하고 평가하는 솔루션이다.
▲기업의 AI 서비스 유형과 목적에 따른 평가 기준 설정 ▲도메인 및 서비스 맞춤형 평가용 질문 자동 생성 ▲AI 서비스의 응답 자동 평가 및 결과 분석 ▲AI 취약점을 도출하는 레드티밍 기능 등을 제공한다.
특히, 해당 솔루션은 100만 개 이상의 평가용 질문을 자동으로 생성해 AI 모델이 다양한 사용자 발화 패턴을 포괄적으로 평가할 수 있도록 지원한다.
기존에는 도메인 전문가가 직접 평가 질문을 설계하면서 많은 시간과 비용이 소요됐으나, 다투모 이밸을 활용하면 이를 획기적으로 절감할 수 있다.
자동 생성된 질문은 셀렉트스타의 AI 에이전트 기술을 기반으로 생성되며, 기업별 평가 목적, 요구사항, 난이도 등을 반영해 현실적인 평가가 가능하다.
또한, AI 서비스가 설정된 기준을 벗어나거나 유해한 정보를 생성하는지를 감지하고 자동 평가하는 기능도 포함됐다.
AI 모델과 사용자 간의 상호 작용을 정량적으로 측정하고 분석할 수 있으며, 이를 통해 다양한 AI 모델 간 성능 비교와 개선 방향을 도출하는 것이 가능하다.
평가 완료 후에는 특정 상황에서 발생하는 AI 모델의 문제를 체계적으로 분석해 신뢰성을 높이는 데 기여할 수 있다.
김세엽 셀렉트스타 대표는 “AI 서비스의 상용화에서 가장 중요한 요소는 신뢰성”이라며 “다투모 이밸을 통해 기업들이 AI를 보다 정확하고 안전하게 운영할 수 있도록 지원하겠다”고 말했다.
배동현 ([email protected]) 기사제보
댓글을 남기려면 로그인 해주세요.