메타가 청소년 이용자가 자사 AI 챗봇과 대화하는 과정에서 자살이나 자해를 명확히 언급할 경우 부모에게 알리는 기능을 도입했다. 이 기능은 우선 미국, 영국, 호주, 캐나다에서 인스타그램 부모 감독 기능을 사용하는 보호자를 대상으로 시작됐으며, 메타는 올해 말까지 적용 지역을 넓히겠다고 밝혔다.
이번 조치는 생성형 AI 챗봇이 정신적 위기 상황에 놓인 이용자, 특히 미성년자에게 어떤 방식으로 반응해야 하는지를 둘러싼 논쟁이 커지는 가운데 나왔다. AI 서비스가 일상적인 상담 창구처럼 쓰이면서 기업의 책임 범위와 보호자 개입 기준도 더 구체적인 검토 대상이 되고 있다.
위험 신호 감지 뒤 수동 검토
메타는 청소년이 자신을 해치겠다는 취지의 표현을 AI 챗봇 대화에서 명확히 드러내는 경우를 식별하기 위해 별도 AI 시스템을 구축했다고 설명했다. 다만 자동 감지만으로 곧바로 알림을 보내지는 않고, 부모에게 전달되기 전 사람이 내용을 검토하는 절차를 둔다.
회사는 청소년의 의도가 애매한 경우에도 초기 단계에서는 조심스럽게 접근하겠다는 입장이다. 실제 위험이 없을 가능성이 있더라도 보호자에게 알리는 쪽을 선택할 수 있다는 뜻이다. 이는 위기 상황을 놓치는 위험과 과잉 알림으로 인한 사생활 침해 우려 사이에서 메타가 우선 안전 쪽에 무게를 둔 결정으로 볼 수 있다.
메타는 이미 인스타그램에서 청소년이 자살이나 자해 관련 검색어를 반복적으로 입력하면 부모에게 알리는 기능을 운영해 왔다. 이번 업데이트는 검색 행위뿐 아니라 AI 챗봇과의 대화까지 위험 신호 감지 범위를 넓힌 것이다.
응급 서비스 연계도 검토
메타는 대화 내용이 이용자의 자해 위험을 시사할 경우 응급 서비스에 연락할 수 있는 기능도 개발하고 있다고 밝혔다. 이 기능이 실제로 어떤 기준과 절차로 작동할지는 아직 구체적으로 공개되지 않았다. 국가별 법률, 개인정보 보호 규정, 응급 대응 체계가 달라 글로벌 적용 과정에서는 추가 검토가 필요할 것으로 보인다.
AI 챗봇이 위기 표현을 어디까지 신뢰할 수 있게 판별할 수 있는지도 쟁점이다. 농담, 인용, 과거 경험 설명, 실제 위험 신호가 대화 안에서 뒤섞일 수 있기 때문이다. 메타가 수동 검토 절차를 넣은 것도 이런 오탐 가능성을 줄이려는 장치로 해석된다.
청소년 보호와 사생활 사이의 기준
이번 정책은 부모에게 더 많은 안전 정보를 제공한다는 점에서 긍정적으로 평가될 수 있지만, 청소년의 민감한 대화가 어느 범위까지 보호자에게 공유돼야 하는지에 대한 논쟁도 불가피하다. 정신 건강과 관련한 대화는 높은 보호가 필요한 개인정보인 동시에 즉각적인 개입이 필요한 위험 신호일 수도 있다.
규제 당국과 시민단체는 AI 챗봇이 취약한 이용자에게 부적절한 조언을 하거나 위험한 대화를 이어가는 문제를 꾸준히 지적해 왔다. 기업 입장에서는 모델의 응답 안전성을 높이는 것뿐 아니라, 위험 대화가 발생했을 때 누구에게 어떤 방식으로 알릴지에 대한 운영 기준까지 마련해야 하는 상황이다.
메타의 새 알림 기능은 AI 챗봇 경쟁이 단순한 성능 경쟁을 넘어 안전 설계 경쟁으로 이동하고 있음을 보여준다. 청소년 이용자를 대상으로 하는 서비스라면 보호자 도구, 위기 감지, 사람의 검토, 응급 대응 연계가 앞으로 기본 안전 장치로 요구될 가능성이 커지고 있다.
댓글