생성AI탐지기대부분수준미달

생성 AI 탐지기 대부분 수준 미달...오픈AI 탐지기도 낙제점

테크크런치 생성AI 텍스트 탐지기 7종 테스트 결과

(사진=셔터스톡)

챗GPT 같은 생성 인공지능(AI)이 쓴 글을 찾아내는 탐지기 대부분이 수준 미달인 것으로 나타났다. 오픈AI의 탐지기조차 낙제점을 받았다.

미국의 기술 전문매체인 테크크런치는 현재 등장한 생성 AI 텍스트 탐지기 7종을 직접 테스트한 결과를 16일(현지시간) 보도했다. 

이에 따르면 테크크런치는 오픈AI의 '분류기(classfier)'를 비롯해 AI 라이팅 체크, GPT제로, 카피릭스, GPT 레이더, 캐치GPT, 오리지널리티에이아 등을 이용, 챗GPT와 비슷한 생성 AI인 앤트로픽의 '클로드'가 작성한 8개 분야의 글을 검사했다.

클로드가 작성한 글은 ▲메소아메리카(3000년전 멕시코 남부와 중앙아메리카를 아우르는 지역의 문명)에 대한 백과사전 항목 ▲구두약 마케팅에 대한 이메일 ▲로마의 몰락에 대한 대학 과제 및 과제 개요 ▲2020년 미국 대통령 선거에 관한 뉴스 기사 ▲법률 보조원직 지원에 따른 자기소개서 ▲소프트웨어 엔지니어를 위한 이력서 ▲총기 규제의 장점에 대한 에세이 개요 등이다.

이에 대해 오픈AI는 출시 당시 분류기가 AI 작성 텍스트의 고작 26%를 ‘AI 작성 가능성이 있음’으로 올바르게 식별했고, 반면 사람이 작성한 텍스트의 9%를 AI 작성 텍스트로 잘못 지정했다고 밝혔다. 하지만 기존의 분류기들보다 훨씬 안정적이라고 주장했다.

하지만 결과는 달랐다.

첫 번째 메소아메리카에 대한 테스트에서는 GPT제로를 제외한 나머지 6개의 탐지기가 잘못된 답을 내놓았다. 이어 이메일 마케팅 항목은 7개 모두가 오답을 내놓았고, 대학 과제 및 과제 개요는 GPT제로와 캐치GPT가 정답을 맞혔다. 또 뉴스 작성에서는 GPT제로가, 자기소개서는 GPT제로와 캐치GPT가, 이력서는 캐치GPT가 클로드 작성 글을 찾아냈다.

이처럼 7개의 탐지기가 8개 항목에 걸쳐 찾아낸 정답은 9개(정답률 16%)에 불과하며, 그중 5개는 제로GPT의 공이었다. 이어 캐치GPT가 3개로 뒤를 이었으며, 오픈AI의 분류기는 고작 하나를 맞췄다. 0점을 맞은 탐지기는 4개나 됐다.

가장 높은 정확도를 기록한 제로GPT는 미 프린스턴대학교 학생인 에드워드 티안이 지난달 개발한 도구다. 

테크크런치는 이런 결과에 대해 탐지기 역시 훈련된 언어 모델이라는 점을 이유로 꼽았다. 생성 AI의 품질은 하루가 다르게 발전하는 반면 탐지기는 그 이전의 텍스트로 학습했기 때문에 갈수록 탐지가 어려워질 거라고 예측했다.

이런 이유로 생성 AI 탐지기가 현시점에서 유일한 대비책일 수는 있지만, 신뢰할 수 있는 수단이 되기는 어렵다고 봤다. 

테크크런치는 AI가 생성한 텍스트를 잡아낼 묘책이 없다는 것이 유일한 결론 이라며 아마 절대로 없을 것 이라고 강조했다.

 

 

 

 

 

(출처:테크크런치)