【뉴스퀘스트=김형근 기자】 인공지능 이용에 대한 규제가 필요하다는 여론이 일고 있는 가운데 미국의 한 고등학교에서 남학생들이 인공지능(AI) 기술을 이용해 여학생들에 대한 성적인 딥페이크 이미지를 만들어 유포하는 사건이 발생했다.

미국 월스트리트저널(WSJ) 등 외신에 따르면 2일(현지시간) 뉴저지주 웨스트필드 고등학교에서 2학년 남학생 여러 명이 AI를 활용해 교내 여학생들의 가짜 포르노 이미지를 만들어 유포하다가 발각됐다.

해당 이미지는 놀라울 정도로 쉽게 액세스해서 사용할 수 있는 AI 앱에서 소셜 미디어의 실제 사진을 사용하여 만들어졌다.

AI 활용해 교내 여학생들 사진으로 포르노 딥페이크 이미지 만들어

이러한 유형의 변형된 사진을 만드는 것을 '딥페이크(deepfake)'라고 한다. 많은 경우, 사진이 실제가 아닌지 구별하기가 어렵다.

딥페이크는 딥러닝(deeplearning)과 페이크(fake)의 합성어로, AI를 기반으로 얼굴 등을 실제처럼 조작한 이미지나 영상을 뜻한다.

웨스트필드 지역 고등학교에 여학생들의 이러한 나체 사진들이 유포된 이후 인공지능 기술의 위험성이 다시 도마에 올랐다.

문제의 남학생들은 온라인에서 여학생들 사진을 찾은 다음 AI로 나체 사진을 만든 뒤 그룹 채팅을 통해 다른 남학생들과 이를 공유한 것으로 드러났다.

이런 범죄 행위는 지난달 중순 한 남학생이 일부 여학생에게 해당 사실을 알려주면서 드러났다.

여학생들은 학교 당국에 이를 보고했고 학교는 이 사건과 관련된 것으로 추정되는 남학생들 면담을 시작했다. 피해 여학생 가운데 4명이 신고하면서 경찰 당국도 수사에 착수했다.

이와 관련 학교 교장은 해당 학군의 학부모에게는 다음과 같은 내용의 이메일을 보냈다. CBS 2가 얻은 해당 이메일의 사본이다;

"오늘 학생들은 우리 학생들 중 일부가 인공 지능을 사용하여 원본 사진에서 음란물 이미지를 만들었다는 사실에 주목했다. 자신의 이미지를 만든 사람이 누구인지, 공유되는지에 대한 많은 우려가 있었다. 생성된 이미지는 모두 삭제되어 유포되지 않는 것으로 알고 있다”

학교 측은 문제의 딥페이크 이미지가 삭제돼 더 이상 유포되지 않는다고 밝혔으나 여학생들은 이미 극심한 정신적 피해를 입었다고 WSJ은 전했다.

AI 기술 발달로 쉽게 딥페이크 사진 만들어, 악용 가능성 커져

그러나 정확히 남학생 몇 명이 이 사건에 연루됐는지, 이들이 징계받았는지 여부는 아직 확인되지 않았다.

학교 관계자는 관련 학생의 부모에게 이를 알리고 자신이 피해자라고 생각하는 사람은 누구나 나서서 웨스트필드 경찰에 연락할 것을 요청하고 있다.

피해자 부모들은 이번 사건이 여학생 단체를 뒤흔들었다고 지적하면서 학교 측에 안전장치 마련을 요구하고 있다.

학교 교육감인 레이먼드 곤잘레즈(Raymond González) 박사는 이미 이 기술의 위험성과 동료 학생들에게 미칠 수 있는 피해에 대해 학생들에게 교육하고 있다고 말했다.

그는 성명서에서 교육구가 AI 기술이 학교 네트워크 및 학교에서 지급한 장치에서 사용되거나 액세스되는 것을 방지하기 위한 보호 장치를 마련하고 있다고 덧붙였다.

피해를 입은 한 여학생의 부모는 WSJ에 자신의 딸이 사진을 만들고 배포한 남학생들과 함께 학교에 다니는 것을 원하지 않는다고 말했다.

웨스트필드 경찰은 이 사건을 인지하고 있지만 어떠한 조사가 진행되고 있는지에 대해 어떤 내용도 일체 언급하지 않았다.

학교 관계자는 얼마나 많은 학생이 피해를 입었는지, 어떤 징계 조치가 취해졌는지에 대해서도 언급할 수 없다고 말했다.

조 바이든 대통령은 지난주 AI 기술 사용에 관한 행정명령에 서명했다. 그는 “AI는 우리 주변 곳곳에 있다. AI의 기본 약속을 실현하고 위험을 피하려면 이 기술을 통제해야 한다. 기만적이고 파괴적인 것이 아니라 신뢰하고 믿을 수 있어야 한다”고 강조했다.

이 명령은 기업이 공공 안전을 위험에 빠뜨리지 않고 이익을 얻을 수 있도록 AI 개발 방법을 조정하는데 목적을 두고 있다. 딥페이크를 만들고 수많은 소비자의 시기와 기만을 지원하는 데 사용되면서 AI에 대한 대중의 불신이 커지고 있다.

바이든 대통령, 지난주 AI 기술 사용에 관한 행정명령에 서명

AP통신과 시카고 대학 해리스 공공 정책 대학원의 새로운 여론 조사에 따르면 미국 성인의 대다수는 인공 지능 도구가 2024년 대통령 선거에서 허위 및 오해의 소지가 있는 정보의 확산을 증가시킬 것이라고 생각하는 것으로 나타났다.

또한 성인의 30%만이 AI 챗봇이나 이미지 변형 기기를 사용해 본 적이 있으며 절반 미만의 사람만이 AI 도구에 대해 적어도 일부를 듣거나 읽은 것으로 나타났다.

그러나 대부분의 성인들은 AI 자체보다 AI를 다양한 목적으로 사용하는 정치 후보가 나쁘다고 생각하는 것으로 파악됐다.

미국에서는 이전부터 딥페이크 기술에 대한 우려가 제기돼 왔다.

예를 들어 도널드 트럼프 전 미 대통령이 체포되는 딥페이크 이미지, 조 바이든 미 대통령이 성소수자에게 폭언하는 딥페이크 영상 등이 진짜인 것처럼 유포돼 논란이 일기도 했다.

전문가들은 기술 발달로 딥페이크 이미지 만들기가 갈수록 쉬워지면서 범죄에 악용될 가능성도 커졌다고 지적한다.

몇 년 전 까지만 해도 딥페이크 이미지를 만들려면 컴퓨터 여러 대가 필요했지만 이제는 아이폰 1대만 있으면 된다.

딥페이크 사진 대부분이 음란물에 쓰인다는 점도 문제다. 실제 이미지 탐지 회사 '센시티 AI'는 딥페이크 이미지의 90％ 이상이 포르노와 관련돼 있다고 분석했다.