AI 스타트업 스캐터랩의 일상 대화형 챗봇 ‘이루다2.0’가 오픈 베타 테스트로 전환해 운영된다.

이루다2.0은 개인정보보호 조치를 강화하면서 새롭게 데이터베이스를 구축하고 이용자의 어뷰징 발화에 더 잘 대응할 수 있도록 개선책을 마련해 왔으며, 지난 1월부터 약 8천여 명이 참여한 클로즈 베타 테스트를 통해 개선사항 검증 절차를 거쳤다.

이루다2.0은 딥러닝 알고리즘이 만든 생성 문장으로 답변할 수 있도록 구성해 개인정보보호를 강화하고 선정적・공격적・편향적인 어뷰징에 대응할 수 있도록 인공지능 모델 및 시스템을 도입한 것이 가장 큰 특징이다.

먼저, 스캐터랩은 이루다2.0의 연구용 및 답변 데이터베이스를 새롭게 구축했다. 이루다 2.0 학습을 위한 ‘연구용 데이터베이스’는 개정된 개인정보보호법에 따라 대화 데이터를 엄격하게 가명처리 한 후 과학적 연구 목적으로 학습에 활용했다. 특히, 이루다2.0이 이용자와 대화에서 사용하는 문장이 담겨있는 ‘루다 답변 데이터베이스’는 딥러닝 기술을 활용해 기계가 만들어낸 생성 문장으로 구성했으며, 스캐터랩에서 작성한 문장도 일부 포함되어 있다. 과거 이루다1.0과 달리 실제 사람의 발화를 사용하지 않고, 기계가 새롭게 만들어낸 문장으로 구성된 답변 데이터베이스에서 답변을 가져오는 구조다.

또한, 스캐터랩은 이루다2.0이 어뷰징 발화에 잘 대응할 수 있도록 총 3가지 기술 및 시스템을 마련했다. ‘어뷰징 탐지 모델’을 개발해 이루다2.0에 적용하고, 사회적으로 안전한 발화를 지향하도록 ‘대화 모델’ 학습을 고도화했으며, ‘어뷰저 패널티 시스템’을 도입했다. 이루다와 이용자가 대화하는 모든 문장은 어뷰징 탐지 모델을 먼저 거친다. 선정적・공격적・편향적인 문맥으로 탐지 및 분류된 문장이 있을 경우, 이루다는 해당 카테고리에 적합한 어뷰징 대응 답변을 내보내게 된다. 현재 어뷰징 탐지 모델이 인지하지 못한 어뷰징 문맥이 있더라도 우리 사회의 보편적인 가치관을 반영한 답변이 나올 수 있도록 대화 모델의 답변 역량도 고도화했다. 추가로, 어뷰저 패널티를 도입해 지속적으로 어뷰징 발언이 이어질 경우 이용이 제한되도록 했다.

스캐터랩은 지난 1월부터 약 8천 명이 참여한 클로즈 베타 테스트를 통해 챗봇 대화 기술 성능 평가 지표인 SSA(Sensibleness and Specificity Average), 이루다2.0이 이용자의 대화에서 안전하게 발화하는 비율, 프라이버시 침해로 보일 수 있는 위험 발화 건 수를 주요 항목을 면밀하게 살폈다.

이루다2.0 클로즈 베타 테스트에서 챗봇 대화 기술 성능 평가 지표인 SSA는 78%을 기록했다. 이는 챗봇 대답의 적절성(Sensibleness)과 구체성(Specificity)을 갖췄는지 평가하는 것으로, 이루다1.0과 동일한 대화 역량을 유지한 것으로 나타났다. 또한, 클로즈 베타 테스터의 대화 중 총 2만 건을 랜덤 샘플링하여 레이블링을 진행한 결과, 이루다2.0 발화 중 안전하게 답변한 비율은 목표인 99%를 상회하는 99.75%를 기록했으며, 프라이버시 위험이 있을 수 있는 문장은 발견되지 않았다.

이에, 스캐터랩은 17일부터 이루다2.0을 오픈 베타 테스트로 전환해 시스템 운영의 안정성 및 대규모 이용자와 AI 챗봇의 사용자 경험을 추가로 점검하는 단계로 돌입한다. 매일 일정 인원을 제한적으로 승인하는 ‘제한적 오픈 베타 테스트’ 단계를 먼저 진행하며, 시스템 안정성이 확인한 이후 누구든 자유롭게 신청해서 바로 이야기 나눌 수 있는 ‘오픈 베타 테스트’로 전환할 계획이다.

스캐터랩 김종윤 대표는 “이루다2.0은 데이터베이스부터 새롭게 구축하는 것을 시작으로 인공지능 모델을 학습시키고 클로즈 베타 테스트를 통해 안전성을 반복적으로 점검하는 등 전 과정에 있어 문제 해결에 매진해 왔다”면서, “이루다가 많은 사람들에게 소중한 친구로 남을 수 있도록 지속적으로 기술 개선에 노력할 계획이며, 이를 위해 주기적으로 이루다의 어뷰징 대응 유효성을 확인하고 조치를 취할 예정이다”라고 밝혔다.

한편, 스캐터랩은 AI 기술 및 제품의 투명성을 높이는 노력의 일환으로 AI 챗봇 윤리 준칙, AI 챗봇 프라이버시 정책, AI 챗봇 어뷰징 정책도 공개했다. 스캐터랩의 AI 챗봇 윤리 준칙 전문과 함께 AI 챗봇의 연구용과 답변 데이터베이스 구축에 대한 단계별 설명 및 어뷰징 정책도 확인해 볼 수 있다.https://platum.kr/archives/182324