세계적인 오픈 프리프린트(사전공개) 저장소 아르xiv(arXiv)가 연구자들이 대형언어모델(LLM)을 “확인 없이” 전적으로 활용한 정황이 드러나면 1년간 아르xiv 업로드를 금지하는 규정을 예고했다. 아르xiv 컴퓨터과학 섹션 의장 토머스 디터리히(Thomas Dietterich)가 16일(현지시간) 공개한 내용에 따르면, 환각(hallucination)된 인용이나 LLM과의 상호작용 흔적 등 “반박 불가능한 증거”가 발견될 경우 제재가 적용된다. 이번 조치는 동료심사 전 단계인 프리프린트 생태계에서 AI ‘슬롭(slop)’과 저품질 산출물이 확산되는 흐름에 대한 대응으로 해석된다.
무엇이 문제로 간주되나: “저자 검증 부재”가 핵심
디터리히는 아르xiv에 제출된 논문에 대해, 저자들이 LLM 생성 결과를 직접 확인하지 않았다는 정황이 명확하게 확인되면 해당 논문을 신뢰하기 어렵다고 밝혔다. 그는 “저자들이 LLM 생성 결과를 확인하지 않았다는 반박 불가능한 증거가 포함돼 있다면, 우리는 논문 전체를 신뢰할 수 없다”고 말했다(TechCrunch 보도 인용).
여기서 말하는 “반박 불가능한 증거”로는 존재하지 않는(환각된) 참고문헌이나, LLM을 통해 생성된 내용의 출처와 연결될 수 있는 LLM 관련 코멘트·대화 기록 같은 항목이 예시로 거론됐다. 즉, 문제는 LLM 사용 자체라기보다 검증 책임을 저자가 지지 않았을 때로 초점이 맞춰져 있다.
디터리히의 설명에 따르면 이번 정책은 LLM 사용을 전면 금지하는 방식은 아니다. 그는 저자가 콘텐츠 생성 방식과 무관하게 결과물에 대해 “전적인 책임(full responsibility)”을 져야 한다는 원칙을 강조했다. 따라서 LLM에서 복사·붙여넣기 형태로 들어간 부적절한 표현, 표절성 콘텐츠, 편향, 오류, 잘못된 인용, 오해를 유발하는 서술 등도 여전히 저자의 책임 범주에 해당한다.
1회 적발 ‘원스트라이크’…후속 제출도 엄격해진다
아르xiv의 제재는 비교적 강한 편이다. 디터리히는 해당 증거가 확인되면 저자에게 1년간 아르xiv 업로드 금지가 부과되고, 이후 아르xiv에 다시 제출하려면 평판이 좋은 동료심사 학술지(또는 신뢰할 수 있는 심사 절차)를 먼저 통과해야 한다고 밝혔다.
또한 디터리히는 이를 “원스트라이크(one-strike) 규칙”으로 설명했다. 다만 실제 제재가 자동으로 내려지는 구조는 아니며, 모더레이터(검토자)가 이슈를 플래그하고, 섹션 의장(section chairs)이 증거의 타당성을 확인한 뒤에야 제재가 내려지는 절차가 언급됐다. 저자들은 결정에 대해 항소(appeal)할 수 있는 통로도 마련된 것으로 전해졌다.
왜 지금인가: ‘검증 불능’이 연구 신뢰의 병목으로
프리프린트는 연구 결과가 동료심사를 기다리기 전에 빠르게 공유된다는 장점이 있다. 하지만 그만큼 품질 관리가 취약해질 수 있고, 특히 LLM 기반 자동 생성이 늘어날수록 특정 유형의 오류가 구조적으로 증가할 수 있다는 지적이 나온다.
TechCrunch가 함께 언급한 바에 따르면, 최근의 동료심사 연구에서는 바이오메디컬 분야를 포함한 영역에서 ‘가짜 인용’(fabricated citations)이 증가하는 경향이 관측되었는데, 그 배경에 LLM 활용이 일부 영향을 미쳤을 가능성이 거론된다. 물론 가짜 인용이 LLM 사용자에게만 국한된 현상은 아니지만, AI가 생성한 문헌 정보가 “그럴듯하게 보이는 오류”로 남는 경우가 있어 사회적·학술적 우려가 커지고 있다.
아르xiv 입장에서는 이러한 오류가 단순 실수 수준을 넘어, 이후 다른 연구자들의 후속 실험·분석에 연쇄적으로 영향을 줄 수 있다는 점이 부담으로 작용한다. 특히 인용 정보가 잘못되면, 연구의 재현성과 근거 연결성이 손상된다. 아르xiv가 ‘검증 부재’를 직접 제재 대상으로 삼는 이유가 여기에 있다.
업계에 던지는 신호: “AI는 도구, 책임은 사람”
이번 발표는 AI 활용을 둘러싼 규범을 다시 정렬하려는 움직임으로 보인다. 아르xiv는 LLM을 쓰지 말라고 요구하지는 않지만, 그 결과를 사용자가 반드시 확인하고 책임지라는 문장을 정책의 중심에 두고 있다. 이는 AI가 연구 생산성을 끌어올릴 수 있다는 기대를 인정하는 동시에, 검증 비용을 외면한 자동 생성이 학술 생태계를 오염시킬 수 있다는 현실을 반영한 조치다.
동시에, 연구자 커뮤니티는 “증거”의 기준이 얼마나 명확하고 일관되게 적용될지 지켜볼 가능성이 크다. 저자들은 무엇을 어떻게 검증해야 제재 위험을 줄일 수 있는지에 대한 실무적 가이드를 추가로 요구할 수 있고, 아르xiv 측 역시 향후 사례 축적을 통해 기준을 더 구체화할 가능성이 있다.
무엇을 기다려야 하나: 첫 제재 사례와 ‘증거’ 판단의 기준
앞으로의 관전 포인트는 두 가지다. 첫째, 실제로 어떤 형태의 증거가 “반박 불가능한 수준”으로 인정되는지에 대한 첫 사례가 나오는 시점이다. 환각 인용이나 LLM 코멘트 기록 같은 단서는 제시됐지만, 실제 심사에서 얼마나 넓게 적용될지에 따라 연구자들의 행동 양식이 크게 달라질 수 있다.
둘째, 아르xiv가 제재 이후 “후속 제출을 평판 좋은 동료심사 단계로 제한”하는 방식이 어떤 학술지·컨퍼런스와 연결되는지에 대한 운영 가이드가 정착되는지다. 프리프린트의 속도는 유지하되, 신뢰의 바닥을 낮추는 사례를 줄이겠다는 목표가 얼마나 현실적인 균형을 이룰지 앞으로의 업데이트에 달려 있다.
댓글