전기안전공사 AI 윤리원칙, 위험 누락을 살피는 기준

윤리원칙에서 읽어야 할 안전의 질문

최근 보도에 따르면 한국전기안전공사는 ‘AI윤리 가치 확산 참여 기관’으로 선정됐으며, 자체 AI 윤리원칙 제정과 교육 성과도 알려졌다. 이는 기관 차원의 윤리 기준 마련이라는 의미로 읽을 수 있다. 다만 참여 기관 선정만으로 개별 AI의 정확도나 전기설비의 안전성까지 확인됐다고 해석하기는 어렵다. 윤리 활동에 대한 인정과 현장 위험에 대한 검증은 구분해서 살펴야 한다.

이번 소식에서 생각해볼 쟁점은 AI가 위험을 놓쳤을 때의 판단 기준이다. 전기안전 업무에 AI를 활용한다고 가정하면, 위험한 설비를 먼저 살피도록 돕는 기능이 유용할 수 있다. 그러나 낮은 위험으로 분류된 설비가 점검 순서에서 계속 밀릴 가능성도 따져야 한다. 이는 공사의 실제 운영 방식에 관한 설명이 아니라, 안전 분야의 AI 활용을 검토할 때 필요한 분석이다.

평균 정확도보다 놓친 위험의 성격

분석의 출발점은 오류의 결과가 서로 다를 수 있다는 데 있다. 정상 설비를 위험하다고 판단하면 추가 점검에 시간과 비용이 든다. 반대로 위험한 설비를 정상으로 판단하면 필요한 확인이 늦어질 수 있다. 따라서 전체 판단 가운데 얼마나 많이 맞혔는지만으로는 충분하지 않을 수 있다. 어떤 위험을 놓쳤고 그 판단이 점검 일정에 어떤 영향을 주는지 함께 살피는 편이 유용하다.

예를 들어 설비의 위험도를 예측하는 도구를 도입한다면, 평가 자료에 어떤 종류의 설비와 사용 환경이 포함됐는지 확인할 필요가 있다. 자료가 충분한 환경에서는 잘 작동해도 기록이 드문 환경에서는 판단이 불안정할 수 있기 때문이다. 특히 정보 부족을 낮은 위험으로 처리하는지, 판단을 보류하고 추가 확인으로 넘기는지는 중요한 차이다. 모르는 상태와 안전한 상태를 구별해야 한다.

점검 순서가 만드는 사각지대

AI가 최종 안전 판정을 내리지 않고 점검 순서만 추천하더라도 영향은 생길 수 있다. 인력과 시간이 한정돼 있다면 순위가 낮은 대상은 확인 기회를 덜 얻을 수 있어서다. 이런 활용을 검토하는 기관과 기업은 추천 순위 외에 반드시 점검해야 하는 조건을 별도로 둘 필요가 있다. 현장 이상 징후나 반복되는 신고가 있을 때 점수를 다시 살피는 절차도 검토할 만하다.

또 다른 분석 지점은 점검 결과가 다시 학습 자료로 쌓이는 과정이다. 높은 위험으로 분류한 설비만 주로 확인하면, 낮은 위험으로 분류한 대상의 실제 상태는 계속 모를 수 있다. 이후 평가에서도 기존 판단의 빈틈이 드러나기 어려워지는 셈이다. 이를 줄이려면 낮은 위험군에서도 일부를 확인하는 방식을 검토할 수 있다. 추천이 맞았는지 알아볼 기회 자체를 확보하는 접근이다.

시민과 기업이 지금 확인할 것

개인이나 시설 관리자가 확인할 점은 AI 활용 여부와 함께 현장 우려를 전달할 통로가 있는지다. 향후 AI가 관련 업무에 쓰인다면, 이상 징후를 알렸을 때 추가 확인을 요청할 수 있는지 살펴볼 만하다. 낮은 위험이라는 안내를 받더라도 그것이 현장 점검 결과인지, 자료에 근거한 예측인지 구별할 수 있어야 한다. 두 정보의 차이를 알아야 후속 행동도 적절하게 정할 수 있다.

도입을 검토하는 기업은 공급사에 전체 정확도뿐 아니라 위험을 놓친 사례, 판단하기 어려운 조건, 추가 확인으로 넘기는 기준을 물어볼 수 있다. 이런 자료가 있어야 자사 설비에 적용할 범위를 가늠하기 쉽다. 앞으로 윤리원칙의 실효성은 위험을 발견한 성과와 함께 놓친 위험을 찾아내는 방식에서도 평가될 수 있다. 안전을 위한 AI라면 스스로의 판단을 다시 확인할 여지가 중요하다.