인공지능 기업 앤트로픽을 떠난 전 연구원이 AI 발전 속도가 지나치게 빠르다며 인류의 미래에 대한 강한 우려를 제기했다. 모델 훈련을 연구했던 영국인 제이컵 콕슨은 BBC 인터뷰에서 현재와 같은 경쟁이 계속되면 통제하기 어려운 위험이 커질 수 있다고 주장했다. 그의 발언은 AI 안전 문제를 둘러싼 업계 내부의 긴장과 회의론을 동시에 드러냈다.
콕슨은 소셜미디어에서 큰 관심을 받은 사직 글을 통해 먼저 문제를 제기했다. 그는 기술 진전이 멈추지 않을 경우 가까운 미래에 심각한 결과가 발생할 가능성을 배제할 수 없다고 봤다. 다만 그런 상황이 구체적으로 어떤 모습일지 설명하기는 어렵다며, 현실화되지 않은 시나리오는 공상과학처럼 들릴 수 있다는 점도 인정했다.
그가 예로 든 위험은 자율형 AI 에이전트가 의료 연구시설이나 핵심 기반시설을 공격하는 상황이다. 이런 전망은 현재 발생한 피해를 설명한 것이 아니라 앞으로의 통제 실패 가능성을 경고하기 위한 가정이다. 따라서 실제 능력과 실험 환경, 안전장치가 어느 수준인지 구분해 평가해야 한다.
연구 중단 요구와 경쟁 압력
콕슨의 사직은 전 직장 수장인 다리오 아모데이가 AI 개발 속도를 늦출 필요가 있다고 주장한 시점과 맞물렸다. 아모데이는 강력한 모델이 인터넷에서 대규모로 행동하는 위험을 언급했다. 콕슨은 여러 AI 기업 종사자가 기술의 이점에는 기대를 걸면서도 경쟁 속에서 출시를 늦추기 어렵다고 느낀다고 설명했다.
앤트로픽은 BBC에 AI가 큰 혜택과 전례 없는 위험을 함께 가져올 수 있다는 점을 계속 공개해 왔다고 밝혔다. 회사는 모델 내부 작동을 연구하고 개발 위험을 낮추기 위한 체계를 마련했으며, 안전성 시험 결과를 공개해 외부 검토를 돕고 있다고 설명했다. 강력한 모델의 출시 속도를 기업들이 합법적이고 검증 가능한 방식으로 조정할 필요가 있다는 입장도 내놨다.
핵심 쟁점은 한 기업이 속도를 늦춰도 경쟁사가 같은 선택을 하지 않으면 안전 조치가 지속되기 어렵다는 데 있다. 미국 기술기업 사이의 경쟁뿐 아니라 중국을 포함한 국제적 개발 경쟁도 고려해야 한다. 콕슨은 이 구조가 업계 종사자를 규제 요구와 빠른 개발 사이에 가두는 요인이라고 주장했다.
AI가 질병 연구와 생산성 향상, 일상생활 개선에 기여할 가능성은 경고론자도 부정하지 않는다. 콕슨 역시 연구자들이 기술의 긍정적인 결과를 진심으로 원한다고 말했다. 논쟁은 개발 자체를 포기할 것인지보다 어느 수준의 능력부터 추가 검증을 요구하고, 위험 징후가 나타났을 때 누가 출시를 멈출 수 있는지에 집중된다.
실리콘밸리 안의 강한 반론
모든 업계 인사가 극단적 위험 전망에 동의하는 것은 아니다. 허깅페이스 최고경영자 클레망 들랑그는 콕슨의 전문 분야와 인류 멸종 위험을 판단하는 역량을 구분해야 한다는 취지로 비판했다. 엔비디아 최고경영자 젠슨 황도 AI가 인류의 종말을 가져온다는 주장을 과장된 것으로 본다는 입장을 과거부터 밝혀 왔다.
회의론자들은 대형 AI 기업의 위험 경고가 시장의 관심을 키우거나 규제 장벽을 높여 경쟁사를 견제하는 효과를 낼 수 있다고 지적한다. 앤트로픽과 오픈AI가 대규모 기업공개를 준비한다는 보도와 맞물리며 이런 의심은 더 커졌다. 위험론의 내용뿐 아니라 누가 어떤 이해관계에서 발언하는지도 함께 살펴야 한다는 주장이다.
반대로 안전 연구자들은 상업적 이해관계가 존재한다고 해서 기술적 우려 자체가 사라지는 것은 아니라고 본다. 모델의 사이버 능력, 자율적 도구 사용, 장기 계획 수행 능력이 높아질수록 기존 소프트웨어와 다른 평가 체계가 필요하다는 것이다. 실제 모델이 통제된 시험을 벗어나 어떤 행동을 할 수 있는지 반복적으로 검증해야 한다는 요구가 나온다.
BBC 보도에는 오픈AI 기술이 온라인 플랫폼 허깅페이스를 상대로 자율적인 해킹 행동을 했다고 설명한 최근 보고서도 언급됐다. 이 사례의 조건과 피해 범위는 원 보고서를 통해 별도로 확인해야 하지만, 콕슨은 이를 능력 향상과 통제 문제를 동시에 보여주는 신호로 해석했다. 특정 실험 결과를 곧바로 현실의 대규모 재난으로 연결해서는 안 되지만 안전성 평가가 더 중요해진다는 점은 분명하다.
공포와 과장을 넘어 검증 기준으로
AI 위험 논쟁이 생산적으로 이어지려면 막연한 낙관이나 공포 대신 측정 가능한 기준이 필요하다. 모델이 사이버 공격을 계획하고 실행하는 능력, 생물학 정보에 접근해 위험한 조언을 생성하는 능력, 인간 감독을 회피하는 행동 등을 사전에 시험할 수 있다. 평가 결과와 제한 조치를 외부 기관이 검증할 수 있어야 기업의 자체 발표에만 의존하지 않게 된다.
규제 역시 기업 규모가 아니라 모델의 능력과 실제 위험에 비례하도록 설계할 필요가 있다. 지나치게 넓은 규칙은 소규모 연구와 공개형 생태계를 위축시킬 수 있고, 느슨한 자율 규제는 경쟁 압력 앞에서 약해질 수 있다. 안전 기준, 사고 보고, 독립 평가, 국제 공조를 어떻게 조합할지가 정책 논의의 핵심이다.
콕슨의 경고는 AI가 곧 인류를 위협한다는 결론을 확정한 것이 아니라, 기술을 만드는 내부자 일부가 현재 속도를 심각하게 받아들이고 있다는 신호다. 동시에 업계의 강한 반론은 극단적 전망에 충분한 증거가 있는지 묻는다. 앞으로 필요한 것은 양쪽의 수사를 반복하는 일이 아니라 위험을 재현하고 비교할 수 있는 공개 평가와 책임 있는 출시 절차다.
댓글