AI 허위 논문·판례 인용 탐지, 문서 정정 절차까지 살펴야

인용 오류는 독자의 판단에 영향을 준다

최근 보도에 따르면 논문의 ‘환각 인용’을 잡아내는 기술이 나왔고, 법률 분야에서는 허위 판례 인용과 환각이 줄었다는 소식이 전해졌다. 다만 이 소식만으로 모든 인용 오류가 해결됐다고 받아들이기는 어렵다. 독자에게 중요한 변화는 오류를 발견할 수단이 늘어날 가능성이다. 여기서 한 걸음 더 나아가, 발견한 오류를 문서와 독자의 판단에 어떻게 반영할지 살펴볼 필요가 있다.

일반적으로 논문과 판례의 인용은 주장에 근거를 제공하고 독자가 원문을 찾아가도록 돕는다. 존재하지 않는 자료를 인용하면 그 연결이 끊긴다. 실제 자료라도 설명과 내용이 다르면 판단을 잘못 이끌 수 있다. 이런 점에서 인용 오류는 참고문헌 목록의 흠에 그치지 않는다. 분석의 초점은 문장이 얼마나 자연스러운지보다, 독자가 근거를 따라가 같은 결론을 확인할 수 있는지에 놓여야 한다.

자료의 존재와 주장의 타당성은 별개다

인용을 확인할 때는 두 가지 질문을 나누는 것이 유용하다. 먼저 해당 논문이나 판례가 실제로 존재하는지 확인한다. 다음으로 그 자료가 문서의 주장을 뒷받침하는지 읽어야 한다. 검색으로 자료를 찾았다는 사실만으로 두 번째 질문까지 해결되지는 않는다. 일반적인 검토 원칙으로 보면 저자와 사건 정보가 맞는지 대조하는 일과, 연구의 한계나 판결의 맥락을 해석하는 일은 구분할 필요가 있다.

따라서 탐지 결과는 검토의 출발점으로 해석하는 편이 합리적이다. 오류 표시가 뜨면 원문과 대조하고, 표시가 없어도 중요한 결론의 근거는 직접 살펴야 한다. 자료를 찾지 못했다는 결과 역시 곧바로 허위라는 뜻으로 단정하기 어렵다. 검색 범위나 접근 조건 때문에 확인이 어려울 수 있기 때문이다. 연구자와 법률 실무자에게는 도구의 판정과 원문 검토 결과를 함께 남기는 방식이 도움이 될 수 있다.

검토가 끝나기 전 공유 경계를 정하자

개인이 지금 적용할 수 있는 방법은 AI가 제안한 인용을 곧바로 완성된 근거로 취급하지 않는 것이다. 원문을 열어 확인하기 전까지는 초안에 확인 필요 표시를 붙이고, 다른 사람에게 전달할 때도 검토 상태를 알리는 편이 좋다. 특히 과제나 보고서에서는 자료의 이름만 적어두기보다 관련 내용을 찾을 수 있는 위치를 함께 기록하면 유용하다. 나중에 다시 검토할 때 같은 검색을 반복하는 부담을 줄일 수 있다.

기업과 기관은 문서의 사용 목적에 따라 확인의 깊이를 정하는 방안을 생각해볼 수 있다. 내부 아이디어 메모와 외부에 제출하는 의견서는 오류가 미치는 범위가 다르다. 계약이나 분쟁에 영향을 주는 문서라면 핵심 인용을 원문과 대조하는 단계를 두는 것이 합리적이다. 모든 문장을 똑같이 검토하기 어려운 상황에서는 결론을 좌우하는 근거부터 확인하도록 순서를 정하는 방법도 실무적으로 도움이 될 수 있다.

오류를 발견한 뒤의 정정까지 준비해야

이미 배포한 문서에서 허위 인용을 발견했다면 참고문헌만 바꾸고 끝낼 수 있는지 따져봐야 한다. 그 근거를 빼도 결론이 유지되는지, 다른 문서가 해당 내용을 재인용했는지 확인할 필요가 있다. 기업이라면 수정본을 어디에 올리고 누구에게 알릴지 미리 정해두는 방식이 도움이 될 수 있다. 이는 새 기술의 성능과 별개로 필요한 문서 관리의 문제다.

오류를 찾아낸 성과가 실제 피해 감소로 이어지려면 후속 조치가 따라야 한다.

전망하자면 인용 탐지 기술이 널리 쓰일수록 문서의 신뢰는 작성 순간뿐 아니라 수정 과정에서도 평가받을 수 있다. 독자는 어떤 근거가 확인됐고 무엇이 바뀌었는지 알 수 있어야 한다. 이를 위해 확인한 원문과 수정 이유를 간단히 남기는 관행을 고려할 만하다. 환각 감소 소식을 활용하는 현실적인 방법은 도구에 대한 기대를 높이는 데서 멈추지 않고, 근거 확인과 정정이 이어지는 문서 작업 방식을 갖추는 것이다.