인공지능 챗봇과 나눈 대화에서 실제 위해 가능성이 의심되는 구체적 위협이 감지돼 서비스 운영사가 수사기관에 신고한 사건이 미국에서 알려졌다. 보도에 따르면 챗GPT를 이용하던 한 남성이 전 여자친구를 대상으로 한 폭력 계획을 반복적으로 언급했고, 오픈AI가 해당 대화의 위험성을 확인해 미국 연방수사국에 알리면서 수사가 시작됐다.
미국 플로리다주에 거주하던 25세 남성 대런 저우는 지난 3월 챗GPT와 대화하는 과정에서 헤어진 연인에게 위해를 가하겠다는 취지의 메시지를 여러 차례 남긴 것으로 전해졌다. 수사당국은 단순한 분노 표현을 넘어 대상자의 생활 반경과 특정 장소, 행동 시점을 언급하는 등 계획이 구체화됐다고 판단했다.
현지 매체 퓨처리즘과 팜비치포스트가 전한 사건 기록에는 저우가 상대방의 취미와 자주 방문하는 장소를 기록하고 질투심을 드러낸 정황이 포함됐다. 총기류를 구매했다고 주장하며 관련 사진을 피해자에게 보냈다는 내용도 대화에 등장했다. 다만 변호인은 실제 총기 소유 여부와 피고인의 정신건강 상태에 대해 수사기관의 해석과 다른 주장을 제기했다.
위험 대화 감지 뒤 수사기관 신고
오픈AI는 유해한 대화 패턴을 탐지한 뒤 대화 내역을 연방수사국에 신고했다. 생성형 AI 서비스는 자해나 타해 위험이 높은 표현이 나타날 경우 답변을 제한하고 도움을 안내하는 안전 장치를 운용한다. 이번 사건은 그 대응이 서비스 안의 경고에 머무르지 않고 외부 수사기관 통보로 이어진 사례라는 점에서 주목된다.
저우는 체포된 뒤 10만 달러의 보증금을 내고 석방됐으며 재직 중이던 금융기관에서는 해고된 것으로 전해졌다. 이후 재판에서 유죄를 인정했고, 감형 합의를 거쳐 판결 유예와 보호관찰 8년, 전자감시장치 착용 2년 처분을 받았다. 법원의 최종 판단에는 위협의 구체성, 피고인의 행동과 치료 필요성 등이 함께 고려된 것으로 보인다.
변호인은 의뢰인이 폭력적인 사람이 아니라 정신건강상의 어려움을 겪었으며 현재 상태가 나아졌다고 주장했다. 또한 챗봇 대화에서 한 주장과 달리 실제 총기를 소유하지 않았다고 해명했다. 이 같은 항변은 챗봇에 입력된 말이 실제 실행 의도와 어느 정도 연결되는지 판단하는 일이 쉽지 않다는 점을 보여준다.
수사기관은 위협 표현의 맥락과 반복성, 대상의 특정 여부, 실행 수단에 대한 접근 가능성, 현실 행동으로 이어진 정황을 종합해 위험도를 평가한다. 감정적인 문장 하나만으로 범죄가 확정되는 것은 아니지만, 구체적 대상과 장소, 방법이 반복적으로 언급되면 예방적 개입의 필요성이 커질 수 있다.
AI 안전과 대화 프라이버시의 경계
이번 사건은 AI 서비스 사업자가 이용자의 대화를 어느 범위까지 살펴보고, 어떤 기준에서 외부 기관에 신고해야 하는지라는 어려운 질문을 제기한다. 이용자는 챗봇과의 대화를 사적인 공간으로 인식할 수 있지만, 운영사는 생명이나 신체에 임박한 위험이 있다고 판단하면 피해를 막기 위한 조치를 검토하게 된다.
관건은 명확하고 예측 가능한 절차다. 위험 신호를 자동 시스템만으로 판정하면 과잉 신고나 오판 가능성이 생길 수 있고, 반대로 판단 기준이 지나치게 엄격하면 실제 위협을 놓칠 수 있다. 따라서 전문 인력의 재검토, 긴급성 평가, 최소한의 정보 제공, 처리 과정 기록 같은 통제 장치가 필요하다.
이용자에게도 서비스의 개인정보 처리 방침과 안전 정책이 이해하기 쉬운 형태로 제공돼야 한다. 어떤 대화가 검토 대상이 될 수 있는지, 법 집행기관에 정보가 전달되는 조건은 무엇인지, 자료가 얼마 동안 보관되는지 등을 투명하게 알릴 필요가 있다. 안전을 이유로 한 조치라도 범위와 책임이 불명확하면 신뢰를 잃을 수 있다.
AI 기업 입장에서는 위험을 발견하고도 대응하지 않았을 때의 책임 또한 커지고 있다. 보도에 따르면 오픈AI는 과거 캐나다 브리티시컬럼비아주의 총기 사건 가해자가 범행 전 챗GPT에서 구체적인 시나리오를 반복해 언급한 사실을 인지하고도 당국에 신고하지 않았다는 논란을 겪었다. 피해자 가족은 회사를 상대로 소송을 제기했고 주 정부도 법적 대응을 검토했다.
예방 개입의 기준을 세울 때
두 사례는 신고 여부가 서로 다른 결과를 낳을 수 있음을 보여준다. 기업이 모든 위험 표현을 수사기관에 전달할 수는 없지만, 생명에 대한 구체적이고 신뢰할 만한 위협을 발견했을 때 적용할 공통 기준은 필요하다. 국가별 법률과 수사 절차가 다른 만큼 지역 규제기관과 정신건강 전문가, 시민사회가 함께 논의할 사안이다.
피해자 보호 관점에서는 신고 뒤의 조치도 중요하다. 위협 대상에게 적절한 방식으로 상황을 알리고 안전 계획을 마련하며, 가해 위험이 있는 사람에게 치료와 감독을 연결해야 한다. 형사 처벌만으로는 위험의 원인을 해소하기 어려울 수 있어 사법 절차와 정신건강 지원이 병행될 필요가 있다.
생성형 AI가 일상적인 상담과 감정 표현의 통로로 널리 쓰일수록 운영사가 마주할 위기 상황도 늘어날 가능성이 크다. 이번 사건은 챗봇이 범행을 판단하는 주체가 아니라 위험 신호가 나타나는 하나의 접점이라는 점을 분명히 한다. 최종 판단과 책임은 적법한 절차를 갖춘 사람과 기관에 있어야 한다.
AI 안전 정책의 목표는 이용자의 모든 대화를 감시하는 것이 아니라 실제 피해 가능성이 높은 예외적 상황에서 신속하고 비례적인 대응을 하는 데 있다. 이를 위해서는 탐지 정확도뿐 아니라 사람의 검토, 개인정보 최소화, 이의 제기와 사후 감사 체계까지 함께 설계돼야 한다. 이번 사건은 기술 기업과 수사기관이 그 기준을 공개적으로 다듬어야 할 필요성을 다시 드러냈다.
댓글