셀렉트스타 금융 AI 안전성 연구, 위험 답변과 과잉 거절의 경계

학회 채택이 던진 실무의 질문

최근 보도에 따르면 셀렉트스타가 금융 AI의 위험 답변을 평가하는 기술을 개발했고, 관련 논문이 국제학술대회 ICDM에 채택됐다. 금융보안원 샌드박스를 활용했다는 소식도 전해졌다. 이번 소식을 이해할 때는 연구 성과와 서비스의 안전성을 구분할 필요가 있다. 학회 채택만으로 실제 금융 상담에서 발생할 여러 위험까지 해소됐다고 받아들이기는 어렵다.

이 연구를 계기로 생각해 볼 문제는 금융 AI가 어디까지 답하고 어느 지점에서 멈춰야 하는가다. 일반적인 금융 상담에서는 잘못된 정보를 제공하는 일뿐 아니라 필요한 설명을 생략하는 일도 이용자의 판단에 영향을 줄 수 있다. 따라서 안전성을 논할 때는 위험한 답변을 줄이는 목표와 이용자가 알아야 할 정보를 충분히 전달하는 목표를 함께 살펴야 한다.

많이 거절한다고 안전해질까

분석의 초점을 답변 거절에 맞춰보면 안전성의 또 다른 면이 드러난다. 예를 들어 상품의 일반적인 수수료 구조를 묻는 질문과 개인의 상황에 맞는 투자 결정을 요구하는 질문은 성격이 다르다. 이를 모두 금융 관련 질문이라는 이유로 차단한다면 필요한 정보까지 막힐 수 있다. 위험을 피하려는 설계가 오히려 이용자의 이해를 어렵게 만들 가능성을 살펴야 한다.

반대로 답변을 제공했다는 사실만으로 안내가 충분했다고 볼 수도 없다. 가상의 사례로 중도 해지 가능 여부에 가능하다고만 답하고 불이익이 생길 수 있는 조건을 빠뜨린 상황을 생각해 보자. 문장 자체는 틀리지 않아도 이용자는 자신에게 유리한 의미로 받아들일 수 있다. 금융 AI의 위험은 명백한 오류 외에도 결정을 바꿀 만한 조건이 설명에서 빠질 때 나타날 수 있다.

금융사는 거절 이후의 길도 설계해야

금융사가 지금 확인할 점은 거절된 질문 뒤에 이용자가 갈 수 있는 경로가 있는지다. 개인별 판단이 필요한 요청에는 답변 범위를 설명하고 담당 상담으로 연결하는 방식이 대안이 될 수 있다. 이때 단순히 전문가에게 문의하라는 문구를 붙이는 데 그치면 이용자가 같은 설명을 처음부터 반복해야 할 수 있다. 무엇을 추가로 확인해야 하는지 알려주는 안내가 필요하다.

실무적으로는 질문의 표현이 달라져도 필요한 안내를 받을 수 있는지 살펴볼 만하다. 금융 용어를 정확히 쓰는 사람과 일상적인 말로 묻는 사람이 서로 다른 수준의 도움을 받는다면 정보 접근의 격차가 생길 수 있기 때문이다. 위험한 요청을 걸러내는 과정에서 평범한 문의까지 막히는 사례를 찾아보는 일은 안전성과 서비스 품질을 함께 개선하는 출발점이 될 수 있다.

이용자는 답변의 적용 범위를 확인하자

개인 이용자는 AI의 답변을 읽을 때 설명이 자신의 계약이나 거래에도 적용되는지 먼저 구분할 필요가 있다. 일반적인 제도 설명과 특정 상품의 조건은 다를 수 있으므로, 실제 행동에 앞서 해당 금융기관의 약관이나 공식 안내에서 관련 내용을 확인하는 편이 도움이 된다. 특히 가능하다는 짧은 답을 받았다면 예외 조건과 비용, 별도로 확인할 항목을 이어서 물어볼 수 있다.

전망의 관점에서 금융 AI 안전성 평가가 실무에 기여하려면 잘못 말하는 경우와 필요한 말을 하지 않는 경우를 함께 다루는 방향이 유용할 것이다. 이번 연구가 구체적으로 어떤 범위까지 평가했는지는 별도의 확인이 필요하다. 다만 금융사가 도입 단계에서 세울 질문은 분명하다. 이용자가 충분한 설명을 받고, AI가 판단할 수 없는 부분에서는 다음 절차로 이동할 수 있는가다.