본문으로 이동

사용자:2024099889심현지/연습장

위키백과, 우리 모두의 백과사전.
비당파 옹호 단체 RepresentUs(영어판)가 2020년에 제작한 김정은의 딥페이크 영상

딥페이크 ('딥러닝' 과 'fake'[1]합성어) 는 인공지능, ai 기반 도구 또는 AV 편집 소프트웨어를 사용하여 편집 또는 생성된 이미지, 비디오 또는 오디오입니다. 실제 또는 가상의 사람을 묘사할 수 있으며 다양한 미디어 요소를 새로운 미디어 아티팩트로 결합하여 인공 지능 시스템이 일반적으로 만드는 미디어인 합성 미디어(영어판)의 한 형태로 간주됩니다.

가짜 콘텐츠를 만드는 행위는 새로운 것이 아니지만 딥페이크는 기계 학습인공지능 기술을 독특하게 활용합니다.[2][3][4] 여기에는 얼굴 인식 알고리즘과 변이 자동 인코더(VAE) 및 생성적 적대 신경망(GAN)과 같은 인공 신경망이 포함됩니다.[3][5] 이어서 이미지 포렌식 분야에서는 조작된 이미지를 감지하는 기술이 개발됩니다.[6] 딥페이크는 아동 성적 학대 영상, 유명인 포르노 영상(영어판), 복수 포르노(영어판), 가짜 뉴스, 사기, 괴롭힘, 금융 사기(영어판).[7][8][9][10]를 만드는 데 사용될 수 있는 잠재력으로 인해 폭넓은 주목을 받고 있습니다.

학자들은 딥페이크가 허위 정보와 증오 표현을 조장하고 선거를 방해할 수 있는 잠재력이 있다는 우려를 제기했습니다. 이에 따라 정보 기술 산업과 정부는 정보 기술 남용을 탐지하고 완화하기 위한 권장 사항과 방법을 제안했습니다.

전통적인 엔터테인먼트에서 게임까지, 딥페이크 기술은 점점 더 대중에게 설득력 있고[11] 접근하기 쉬워져 엔터테인먼트 및 미디어 산업에 혁신을 불러왔습니다.

역사

[편집]
Stable Diffusion에서 생성된 여배우 Sydney Sweeney의 초상화

사진 조작은 19세기에 개발되어 곧 영화에 적용되었습니다. 기술은 20세기에 꾸준히 발전했고, 디지털 비디오의 등장으로 더 빠르게 발전했습니다.

딥페이크 기술은 1990년대 초 학술 기관의 연구자들에 의해 개발되다가 나중에는 온라인 커뮤니티의 아마추어들에 의해 개발되었습니다.[12][13] 최근에는 업계에서도 이 방법을 채택하고 있습니다.[14]

학술 연구

[편집]

딥페이크와 관련된 학술 연구는 딥페이크를 만들고 식별하는 기술을 개발하는 컴퓨터 과학의 하위 분야인 컴퓨터 비전 분야[12]와 딥페이크의 사회적, 윤리적, 미학적, 언론적, 정보적 의미를 연구하는 인문학 및 사회과학적 접근 방식으로 나뉩니다.[15]

딥페이크에 대한 사회과학과 인문학의 접근 방식

[편집]

영화 연구에서 딥페이크는 "디지털 시대에 인간의 얼굴이 모호한 중심 대상으로 떠오르고 있다"는 것을 보여줍니다.[16] 비디오 아티스트들은 딥페이크를 활용해 "정식 영화를 새로운 스타 배우로 재구성해 영화 역사를 재미있게 다시 쓴다".[17] 영화학자 크리스토퍼 홀리데이는 친숙한 영화 장면에 등장하는 배우의 성별과 인종을 바꾸는 것이 어떻게 성별 분류와 범주를 불안정하게 만드는지 분석합니다.[17] "queering(영어판)" 딥페이크 개념은 Oliver M. Gingrich가 딥페이크를 사용하여 성별을 재구성하는 미디어 작품에 대해 논의할 때도 논의됩니다.[18] 여기에는 드래그 퀸의 딥페이크를 사용하여 의도적으로 성별을 가지고 노는 영국 예술가 Jake Elwes(영어판)의 Zizi: Queering the Dataset이 포함됩니다. 딥페이크의 미적 잠재력도 탐구되기 시작했습니다. 연극 역사가 존 플레처는 딥페이크의 초기 시연이 공연으로 제시되었다고 언급하고 이를 연극의 맥락에 놓고 딥페이크가 공연 장르로서 나타내는 "더욱 문제가 되는 패러다임 변화"에 대해 논의합니다.[19]

철학자와 미디어 학자들은 허위 정보의 유포에 있어서 딥페이크의 윤리적 의미에 대해 논의했습니다. 사라예보 대학교 커뮤니케이션 학과의 아미나 바트레시는 딥페이크의 광범위한 수용에 기여하는 세 가지 요인과 가장 큰 위험이 있는 곳을 파악했습니다. 1) 설득력 있는 시각화와 청각적 지원, 2) 광범위한 접근성, 3) 진실과 거짓 사이에 명확한 선을 그을 수 없음.[20] 딥페이크에 대한 또 다른 논의 주제는 딥페이크로 만든 포르노와 관련된 것입니다.[21] 미디어 학자 에밀리 반 더 나겔은 조작된 이미지에 대한 사진 연구를 바탕으로 여성이 자신의 이미지 사용에 동의할 수 있도록 하는 검증 시스템에 대해 논의합니다.[22]

철학자들은 포르노 외에도 딥페이크를 지식과 사회에 대한 "인식적 위협"으로 규정해 왔습니다.[23] 포르노그래피를 넘어 기업, 정치인 및 기타 사람들에게 "착취, 위협 및 개인적 방해"[24]라는 딥페이크 위험을 처리하는 방법에 대한 몇 가지 다른 제안이 있으며 법률 연구와 미디어 연구 모두에서 잠재적인 법적 및 규제적 대응에 대한 여러 학술적 논의가 있습니다.[25] 심리학 및 미디어 연구에서 학자들은 딥페이크를 사용한 허위 정보의 영향[26][27]과 딥페이크의 사회적 영향[28]에 대해 논의합니다.

영어권 학술 연구의 대부분은 허위 정보와 포르노에 대한 서구의 불안에 초점을 맞추지만, 디지털 인류학자 가브리엘 드 세타는 huanlian으로 알려진 딥페이크에 대한 중국의 수용을 분석했습니다. huanlian은 "얼굴을 바꾸는 것"으로 번역됩니다. 중국어 용어에는 영어 딥페이크의 "가짜"가 포함되지 않으며, 드 세타는 이러한 문화적 맥락이 중국의 대응이 "사기 위험, 이미지 권리, 경제적 이익 및 윤리적 불균형"에 대한 실질적인 규제 조치에 집중된 이유를 설명할 수 있다고 주장합니다.[29]

딥페이크에 대한 컴퓨터 과학 연구

[편집]

획기적인 초기 프로젝트는 1997년에 공개된 "Video Rewrite" 프로그램이었습니다. 이 프로그램은 말하는 사람의 기존 비디오 영상을 수정하여 다른 오디오 트랙에서 그 사람이 말을 하는 모습을 표현했습니다.[30] 이는 얼굴 재생을 완전 자동화한 최초의 시스템이었으며, 기계 학습 기술을 사용하여 영상 속 피사체가 생성하는 소리와 피사체의 얼굴 모양 사이에 연관성을 찾았습니다.[30]

최근 학술 프로젝트는 더욱 사실적인 영상 제작과 딥페이크 기술 개선에 초점을 맞춰 진행되었습니다.[31][32] 2017년에 출간된 "오바마 종합" 프로그램은 버락 오바마 전 대통령의 영상 영상을 수정하여 별도 오디오 트랙에 있는 말을 그대로 입술로 표현하는 방식을 사용합니다.[31] 이 프로젝트는 오디오에서 입 모양을 합성하는 사실적인(영어판) 기술에 대한 주요 연구 기여로 나열되어 있습니다.[31] 2016년에 공개된 "Face2Face" 프로그램은 사람의 얼굴 영상을 수정하여 다른 사람의 얼굴 표정을 따라하는 모습을 묘사합니다.[32] 이 프로젝트는 깊이를 포착하지 않는 카메라를 사용하여 얼굴 표정을 실시간으로 재현하는 최초의 방법을 개발한 것을 주요 연구 기여로 강조하며, 이를 통해 이 기술을 일반 소비자용 카메라에서도 작동시킬 수 있게 되었습니다.

2018년 8월, 캘리포니아 대학교 버클리 캠퍼스의 연구자들은 AI를 이용해 뛰어난 댄스 실력을 보여주는 딥페이크 댄싱 앱을 소개하는 논문을 발표했습니다..[33] 이 프로젝트는 딥페이크 기술을 몸 전체에 적용하는 것을 목표로 합니다. 이전 작업에서는 머리나 얼굴 일부에만 집중했습니다.[34]

연구자들은 딥페이크가 의료 영상 등 다른 분야로 확장되고 있다는 사실도 보여주었습니다.[35] 이 연구에서는 공격자가 환자의 3D CT 스캔(영어판)에서 폐암을 자동으로 주입하거나 제거하는 방법을 보여주었습니다. 그 결과는 너무나 설득력이 있어서 방사선과 의사 3명과 최첨단 폐암 탐지 AI를 속였습니다. 위협을 입증하기 위해 저자들은 White hat 침투 테스트(영어판)에서 병원에 대한 공격을 성공적으로 수행했습니다.[36]

2020년 5월에 발표된 딥페이크 조사 보고서는 지난 몇 년 동안 딥페이크의 제작과 탐지가 어떻게 발전했는지에 대한 연대기를 제공합니다.[37] 이 조사에서는 연구자들이 딥페이크 제작의 다음과 같은 과제를 해결하는 데 주력하고 있다는 사실이 확인되었습니다.

  • 일반화. 고품질 딥페이크는 종종 대상의 수 시간 분량의 영상으로 훈련하여 달성됩니다. 이 과제는 고품질 이미지를 생성하는 데 필요한 훈련 데이터 양과 모델을 훈련하는 시간을 최소화하고 훈련된 모델을 새로운 신원(훈련 중에는 보이지 않음)에 대해 실행할 수 있도록 하는 것입니다.
  • 페어링된 학습. 지도 학습 모델을 학습하면 고품질 결과를 얻을 수 있지만 데이터 페어링이 필요합니다. 이는 모델이 학습할 입력과 원하는 출력의 예를 찾는 과정입니다. 여러 신원과 얼굴 행동을 학습할 때 데이터 페어링은 힘들고 비실용적입니다. 일부 솔루션에는 자체 지도 학습(동일한 비디오의 프레임 사용), Cycle-GAN과 같은 페어링되지 않은 네트워크 사용 또는 네트워크 임베딩 조작이 포함됩니다.
  • 신원 누출. 운전자의 신원(즉, 재연에서 얼굴을 제어하는 ​​배우)이 생성된 얼굴로 부분적으로 전송되는 경우입니다. 제안된 몇 가지 솔루션에는 주의 메커니즘, few-shot 학습, 얽힘 해제, 경계 변환 및 건너뛰기 연결이 포함됩니다.
  • 교합. 얼굴의 일부가 손, 머리카락, 안경 또는 다른 물건으로 가려지면 인공물이 발생할 수 있습니다. 일반적인 교합은 입 안과 이를 숨기는 닫힌 입입니다. 일부 솔루션에는 훈련 중 이미지 분할 및 인페인팅이 포함됩니다.
  • 시간적 일관성. 딥페이크가 포함된 비디오에서 깜빡임과 지터와 같은 아티팩트는 네트워크에 이전 프레임의 컨텍스트가 없기 때문에 발생할 수 있습니다. 일부 연구자는 이 컨텍스트를 제공하거나 새로운 시간적 일관성 손실을 사용하여 사실성을 개선합니다. 기술이 발전함에 따라 간섭이 줄어들고 있습니다.

전반적으로 딥페이크는 미디어와 사회, 미디어 제작, 미디어 표현, 미디어 청중, 성별, 법률 및 규정, 정치에 여러 가지 영향을 미칠 것으로 예상됩니다.[38]

아마추어 개발

[편집]

딥페이크라는 용어는 2017년 후반에 "deepfakes"라는 Reddit 사용자로부터 유래되었습니다.[39] 그는 Reddit의 "r/deepfakes"의 다른 멤버들과 함께 자신들이 만든 딥페이크를 공유했습니다. 많은 동영상에는 포르노 동영상에서 유명인의 얼굴이 배우의 몸으로 바뀐 것이 포함되었고[39], 비포르노 콘텐츠에는 배우 니콜라스 케이지의 얼굴이 다양한 영화로 바뀐 많은 동영상이 포함되었습니다.[40]

포르노를 공유하지 않는 Reddit 커뮤니티를 포함하여 다른 온라인 커뮤니티는 그대로 남아 있습니다. 예를 들어 "r/SFWdeepfakes"("safe for work deepfakes"의 줄임말)에서는 커뮤니티 멤버들이 유명인, 정치인, 기타 사람들을 포르노가 아닌 상황에서 묘사한 딥페이크를 공유합니다.[41] 다른 온라인 커뮤니티는 딥페이크 포르노를 금지하지 않은 플랫폼에서 포르노를 계속 공유합니다.[42]

상업적인 개발

[편집]

2018년 1월, "FakeApp"이라는 독점 데스크톱 애플리케이션이 출시되었습니다.[43]이 앱을 사용하면 사용자가 얼굴을 서로 바꾼 비디오를 쉽게 만들고 공유할 수 있습니다.[44] 2019년 현재 "FakeApp"은 "Faceswap", 명령줄 기반 "DeepFaceLab" 및 DeepfakesWeb.com과 같은 웹 기반 앱과 같은 오픈 소스 대안으로 대체되었습니다.[45][46][47]

대기업에서 딥페이크를 사용하기 시작했습니다.[14] 기업 교육 비디오는 딥페이크 아바타와 음성을 사용하여 만들 수 있습니다. 예를 들어 Synthesia는 아바타와 함께 딥페이크 기술을 사용하여 개인화된 비디오를 만듭니다.[48] 모바일 앱 Momo는 사용자가 단일 사진으로 텔레비전 및 영화 클립에 얼굴을 중첩할 수 있는 애플리케이션 Zao를 만들었습니다.[14] 2019년 현재 일본의 AI 회사 DataGrid는 사람을 처음부터 만들 수 있는 전신 딥페이크를 만들었습니다.[49]

2020년 현재 오디오 딥페이크(영어판)와 5초의 청취 시간 후에 딥페이크를 감지하고 인간 음성을 복제(영어판)할 수 있는 AI 소프트웨어도 존재합니다.[50][51][52][53][54][55] 모바일 딥페이크 앱인 Impressions는 2020년 3월에 출시되었습니다. 이는 모바일 폰에서 유명인 딥페이크 비디오를 제작한 최초의 앱이었습니다.[56][57]

부활

[편집]

다른 사람의 메시지와 행동을 조작하는 딥페이크 기술의 능력에는 사망한 개인도 포함될 수 있습니다. 2020년 10월 29일, 킴 카다시안은 Kaleida라는 회사에서 만든 고인이 된 아버지 로버트 카다시안홀로그램이 등장하는 비디오를 게시했습니다. Kaleida는 퍼포먼스, 모션 트래킹, SFX, VFX 및 딥페이크 기술을 결합하여 환상을 만들었습니다.[58][59]

2020년, 총기 안전 캠페인의 일환으로 파크랜드 총격 사건(영어판)의 희생자인 호아킨 올리버의 딥페이크 비디오가 제작되었습니다. 올리버의 부모는 비영리 단체인 Change the Ref와 McCann Health와 협력하여 올리버가 사람들에게 총기 안전 법안을 지지하도록 격려하고 이를 지지하는 정치인들도 지지하도록 격려하는 비디오를 제작했습니다.[60]

2022년, 엘비스 프레슬리의 딥페이크 비디오가 America's Got Talent 17(영어판) 프로그램에 사용되었습니다.[61]

한 TV 광고에서는 1980년에 살해된 비틀즈 멤버 존 레논의 딥페이크 영상을 사용했습니다.[62]

기법

[편집]

딥페이크는 자동 인코더(영어판)라는 유형의 신경망에 의존합니다.[63] 이는 이미지를 더 낮은 차원의 잠재 공간으로 축소하는 인코더와 잠재 표현에서 이미지를 재구성하는 디코더로 구성됩니다.[64] 딥페이크는 사람을 잠재 공간으로 인코딩하는 범용 인코더를 사용하여 이 아키텍처를 활용합니다. 잠재 표현에는 얼굴 특징과 신체 자세에 대한 주요 특징이 포함됩니다. 그런 다음 대상을 위해 특별히 훈련된 모델로 이를 디코딩할 수 있습니다. 즉, 대상의 자세한 정보가 잠재 공간에 표현된 원본 비디오의 기본 얼굴 및 신체 특징에 중첩됩니다.

이 아키텍처에 대한 인기 있는 업그레이드는 생성적 적대 네트워크(영어판)를 디코더에 연결하는 것입니다. GAN은 생성기(이 경우 디코더)와 판별기를 적대 관계로 훈련합니다. 생성자는 소스 자료의 잠재 표현에서 새로운 이미지를 생성하는 반면, 판별자는 이미지가 생성되었는지 여부를 판별하려고 시도합니다. 이로 인해 생성자는 판별자가 결함을 포착할 수 있으므로 현실을 매우 잘 모방하는 이미지를 생성합니다.[65] 두 알고리즘 모두 제로섬 게임에서 지속적으로 개선됩니다. 이로 인해 딥페이크는 끊임없이 진화하기 때문에 대응하기 어렵습니다. 결함이 확인되면 언제든지 수정할 수 있습니다.[65]

응용

[편집]

연기

[편집]

전문 배우의 디지털 클론(영어판)은 이전에도 영화에 등장했으며, 딥페이크 기술의 발전으로 이러한 클론의 접근성과 효과가 더욱 향상될 것으로 예상됩니다.[66] AI 기술의 사용은 2023 SAG-AFTRA 파업(영어판)에서 주요 문제였는데, 새로운 기술을 통해 배우 대신 사용할 디지털 유사성을 생성하고 저장할 수 있게 되었습니다.[67]

디즈니는 고해상도 딥페이크 얼굴 스와핑 기술을 사용하여 시각 효과를 개선했습니다.[68] 디즈니는 얼굴 표정을 식별하도록 프로그래밍된 점진적인 훈련, 얼굴 스와핑 기능 구현, 출력을 안정화하고 개선하기 위한 반복을 통해 기술을 개선했습니다.[3] 이 고해상도 딥페이크 기술은 상당한 운영 및 제작 비용을 절감합니다.[68] 디즈니의 딥페이크 생성 모델은 256 x 256 해상도로 미디어를 생성하는 일반적인 모델과 달리 1024 x 1024 해상도로 AI 생성 미디어를 생성할 수 있습니다.[69] 이 기술을 통해 디즈니는 캐릭터의 나이를 줄이거나(영어판) 사망한 배우를 부활시킬 수 있습니다.[70] 비슷한 기술이 처음에 팬들에 의해 비공식적으로 기존 미디어에 얼굴을 삽입하는 데 사용되었습니다. 예를 들어 Solo: A Star Wars Story(영어판)에서 Harrison Ford의 어린 얼굴을 Han Solo의 얼굴에 오버레이하는 것과 같습니다.[71] Disney는 Rogue One(영어판)에서 Princess Leia와 Grand Moff Tarkin(영어판) 캐릭터에 딥페이크를 사용했습니다.[72][73]

2020년 다큐멘터리 Welcome to Chechnya(영어판)는 인터뷰에 응한 사람들의 신원을 숨기기 위해 딥페이크 기술을 사용하여 보복으로부터 보호했습니다.[74]

Creative Artists Agency(영어판)는 배우의 모습을 "단 하루 만에" 포착하여 배우의 디지털 복제본을 개발하는 시설을 개발했으며, 이는 배우 또는 배우의 재산이 다른 인격권과 함께 통제할 것입니다.[75]

광고에서 전문 배우의 디지털 복제본을 사용한 회사로는 Puma, Nike, Procter & Gamble이 있습니다.[76]

딥페이크 덕분에 말라리아와의 싸움에 대한 인식을 높이기 위해 거의 9개 언어를 사용한 캠페인에서 데이비드 베컴을 사용할 수 있었습니다.[77]

2024년 인도 타밀어 공상과학 액션 스릴러(영어판) The Greatest of All Time(영어판)에서 비제이의 캐릭터 Jeevan의 십대 버전은 아야즈 칸이 연기했습니다. Vijay(영어판)의 십대 얼굴은 AI 딥페이크로 구현되었습니다.[78]

예술

[편집]

2018년 3월, 다분야 예술가 조셉 에이얼리는 비디오 아트 Un'emozione per sempre 2.0(영어 제목: The Italian Game)을 발표했습니다. 이 작가는 딥페이크 기술을 사용하여 80년대 영화 배우 오르넬라 무티의 합성 버전인 AI 배우를 만들었습니다. 딥페이크는 교육 및 미디어에서도 현실적인 비디오와 대화형 콘텐츠를 만드는 데 사용되어 청중을 참여시키는 새로운 방법을 제공합니다. 그러나 특히 허위 정보를 퍼뜨릴 경우 위험도 따르기 때문에 책임감 있는 사용과 명확한 규칙이 요구되었습니다. 1978년에서 2018년으로 시간 여행을 합니다. 매사추세츠 공과대학은 이 작품을 연구 "집단적 지혜"에 언급했습니다.[79] 이 작가는 오르넬라 무티의 시간 여행을 사용하여 세대적 성찰을 탐구하는 동시에 예술계에서 도발의 역할에 대한 의문을 조사했습니다.[80] 에이얼리는 기술적 실현을 위해 사진 모델 켄달 제너의 장면을 사용했습니다. 이 프로그램은 제너의 얼굴을 AI가 계산한 오르넬라 무티의 얼굴로 대체했습니다. 그 결과, AI 배우는 이탈리아 배우 오르넬라 무티의 얼굴과 켄달 제너의 몸을 가지고 있습니다.

딥페이크는 풍자나 유명인과 정치인을 패러디하는 데 널리 사용되었습니다. 트레이 파커맷 스톤이 만든 2020년 웹시리즈 Sassy Justice(영어판)는 딥페이크된 공인을 사용하여 시사를 풍자하고 딥페이크 기술에 대한 인식을 높이는 내용이 많이 나옵니다.[81]

약탈

[편집]

딥페이크는 피해자를 거짓으로 기소하는 협박 자료를 생성하는 데 사용될 수 있습니다. 미국 의회 조사국(영어판)의 보고서는 딥페이크가 간첩 또는 영향력 행사 목적으로 선출된 공무원이나 기밀 정보에 접근할 수 있는 사람을 협박하는 데 사용될 수 있다고 경고했습니다.[82]

또는 가짜 자료를 진짜 자료와 확실하게 구별할 수 없기 때문에 실제 협박 피해자는 이제 진짜 유물이 가짜라고 주장하여 그럴듯한 부인 가능성을 부여받을 수 있습니다. 그 효과는 기존 협박 자료의 신뢰성을 무효화하여 협박자에 대한 충성심을 없애고 협박자의 통제력을 파괴하는 것입니다. 이 현상은 실제 협박을 "평가 절하"하여 가치가 없게 만들기 때문에 "협박 인플레이션"이라고 할 수 있습니다.[83] 작은 소프트웨어 프로그램과 함께 상용 GPU 하드웨어를 사용하여 대량으로 여러 주체에 대한 이 협박 콘텐츠를 생성하여 가짜 협박 콘텐츠의 공급을 무한정으로 매우 확장 가능한 방식으로 늘릴 수 있습니다.[84]

오락

[편집]

2022년 6월 8일,[85]AGT 참가자인 다니엘 에밋은 AI 스타트업[86][87] Metaphysic AI와 협력하여 Simon Cowell(영어판)로 보이도록 매우 사실적인 딥페이크를 만들었습니다. 참가자를 심하게 비판한 것으로 악명 높은 Cowell은[88] 무대에 올라 Chicago의 "You're The Inspiration(영어판)"을 해석했습니다. 에밋은 무대에서 노래를 불렀고, 그 뒤의 화면에 Simon Cowell의 이미지가 완벽한 동기화로 나타났습니다.[89]

2022년 8월 30일, 메타피직 AI는 '딥페이크' Simon Cowell(영어판), Howie Mandel(영어판), Terry Crews(영어판)가 무대에서 오페라를 부르는 모습을 보여주었습니다.[90]

2022년 9월 13일, 메타피직 AI는 America's Got Talent 결승전에서 Elvis Presley의 합성 버전을 선보였습니다.[91]

MIT 인공지능 프로젝트 15.ai는 특히 소셜 미디어에서 여러 인터넷 팬덤의 콘텐츠 제작에 사용되었습니다.[92][93][94]

2023년에 ABBAKISS 밴드는 Industrial Light & MagicPophouse Entertainment(영어판)와 협력하여 가상 콘서트(영어판)를 수행할 수 있는 딥페이크 아바타를 개발했습니다.[95]

사기

[편집]

사기꾼은 딥페이크를 이용해 사람들을 속여 가짜 투자 계획, 금융사기, 암호화폐, 송금, 추천을 받습니다. 유명인과 정치인의 모습이 대규모 사기에 사용되었으며, 개인의 모습은 스피어피싱(영어판) 공격에 사용됩니다. Better Business Bureau(영어판)에 따르면 딥페이크 사기가 점점 더 만연해지고 있습니다.[96] 이러한 사기는 전 세계적으로 약 120억 달러의 사기 손실을 초래합니다.[97] 최근 보고서에 따르면 이 수치는 향후 3년 동안 400억 달러에 달할 것으로 예상됩니다.[97]

가짜 지지는 Taylor Swift,[98][96] 톰 행크스,[99] 오프라 윈프리,[100] 일론 머스크;[101] Gayle King[99], Sally Bundock;[102]과 같은 news anchors[103] Lee Hsien Loong[104], Jim Chalmers.[105][106] 와 같은 정치인의 신원을 오용했습니다. 이들의 비디오는 합성 및 조작된 미디어에 대한 정책을 가지고 있는 YouTube, Facebook, TikTok온라인 광고에 등장했습니다.[107][98][108] 이러한 비디오를 게재하는 광고는 수백만 명의 사람들이 봅니다. 단일 Medicare 사기 캠페인은 수천 개의 비디오에서 1억 9,500만 번 이상 조회되었습니다.[107][109] 딥페이크는 다음과 같은 용도로 사용되었습니다. 제품을 받지 않고도 "배송비"를 받고 Le Creuset(영어판) 조리도구를 가짜로 제공하는 것(숨겨진 월별 요금 제외),[98] 언급된 금액보다 훨씬 더 비싼 가격을 요구하는 체중 감량 젤리,[100] 가짜 iPhone 제공,[98][108] get-rich-quick(영어판),[101][110] 투자,[111] 암호화폐 계획[104][112]

많은 광고가 AI 음성 복제(영어판)와 "유명인의 맥락이 없는 영상"을 결합하여 진정성을 모방합니다. 다른 광고는 다른 배우나 음성으로 옮기기 전에 유명인의 전체 클립을 사용합니다.[107] 일부 사기에는 실시간 딥페이크가 포함될 수 있습니다.[108]

유명인은 사람들에게 이러한 가짜 지지에 대해 경고하고 이에 대해 더 경계하라고 했습니다.[96][98][100] 유명인은 "익명의 소셜 미디어 사용자를 찾아내 고소하는 데는 많은 자원이 필요하기 때문에" 딥페이크 사기를 저지르는 모든 사람을 상대로 소송을 제기하지 않을 가능성이 높지만 소셜 미디어 회사에 중단 및 중지 서한을 보내면 영상과 광고를 삭제할 수 있습니다.[113]

오디오 딥페이크(영어판)소셜 엔지니어링(영어판) 사기의 일부로 사용되어 사람들이 신뢰할 수 있는 개인으로부터 지시를 받고 있다고 생각하도록 속였습니다.[7] 2019년, 영국의 한 에너지 회사의 CEO는 전화로 사기를 당했습니다. 회사 모회사의 최고경영자의 목소리를 사칭하기 위해 오디오 딥페이크 기술을 사용한 것으로 알려진 개인에게 22만 유로를 헝가리 은행 계좌로 이체하라는 명령을 받았기 때문입니다.[114][115]

2023년 현재, 몇 초에서 1분 분량의 녹음에서 개인의 목소리를 복제할 수 있는 딥페이크 기술과 새로운 텍스트 생성 도구(영어판)가 결합되어 친구나 친척의 설득력 있는 디지털 복제본을 사용하여 피해자를 표적으로 삼는 자동 사칭 사기가 가능해졌습니다.[116]

신원 가리기

[편집]

오디오 딥페이크는 사용자의 실제 신원을 가리는 데 사용될 수 있습니다. 예를 들어 온라인 게임에서 플레이어는 다른 플레이어와 대화할 때 게임 내 캐릭터처럼 들리는 음성을 선택하고 싶을 수 있습니다. 여성, 어린이, 트랜스젠더와 같이 괴롭힘을 당하는 사람들은 이러한 "음성 스킨"을 사용하여 성별이나 나이를 숨길 수 있습니다.[117]

[편집]

2020년에 비디오 게임 시리즈 Like a Dragon(영어판)의 게임 Yakuza 0에서 나오는 노래인 "Baka Mitai"(ばかみたい)의 코러스를 부르는 사람들의 영상을 만들기 위해 딥페이크를 활용한 인터넷 밈이 등장했습니다. 이 시리즈에서 우울한 노래는 노래방 미니게임에서 플레이어가 부릅니다. 이 밈의 대부분 반복은 노래를 립싱크하는 사용자 Dobbsyrules가 업로드한 2017년 영상을 템플릿으로 사용합니다.[118][119]

정치

[편집]

딥페이크는 영상에서 잘 알려진 정치인을 잘못 표현하는 데 사용되었습니다.

  • 2018년 2월, 별도의 영상에서 아르헨티나 대통령 마우리시오 마크리의 얼굴이 아돌프 히틀러의 얼굴로 바뀌었고 앙겔라 메르켈의 얼굴이 도널드 트럼프의 얼굴로 바뀌었습니다.[120][121]
  • 2018년 4월, 조던 필버즈피드와 협력하여 필의 목소리가 담긴 버락 오바마의 딥페이크를 만들었습니다. 이는 딥페이크에 대한 인식을 높이기 위한 공익 광고 역할을 했습니다.[122]
  • 2019년 1월, 폭스 계열사 KCPQ는 트럼프의 오벌 오피스 연설에서 그의 외모와 피부색을 조롱하는 딥페이크 영상을 방영했습니다. 이 영상에 대한 책임이 있는 직원은 이후 해고되었습니다.[123]
  • 2019년 6월, 하원 정보 위원회는 선거에 영향을 미치기 위해 딥페이크를 악의적으로 사용할 가능성에 대한 청문회를 열었습니다.[124]
  • 2020년 4월, 벨기에의 Extinction Rebellion 지부는 Facebook에 벨기에 총리 소피 윌메스의 딥페이크 영상을 게시했습니다.[125] 이 영상은 삼림 벌채와 COVID-19 사이의 연관성을 홍보했습니다. 24시간 만에 10만 건 이상의 조회수를 기록했고 많은 댓글이 달렸습니다. 영상이 게재된 Facebook 페이지에서 많은 사용자가 딥페이크 영상을 진짜 영상으로 해석했습니다.[126]
  • 2020년 2020 미국 대선 캠페인 기간 동안 많은 딥페이크 영상이 등장하여 조 바이든의 인지 저하를 주장했습니다. 인터뷰 중 잠들고 길을 잃고 말을 잘못하는 등 그의 인지 저하에 대한 소문을 뒷받침했습니다.[127][128]
  • 2020년 델리 의회 선거 캠페인 기간 동안 델리 바라티야 자나타당은 유사한 기술을 사용하여 하리아나 유권자를 대상으로 하리아나어를 번역하여 당수인 마노지 티와리가 쓴 영어 캠페인 광고를 배포했습니다. 내레이션은 배우가 제공했고, 티와리 연설 영상을 사용하여 훈련된 AI가 영상을 새로운 내레이션에 립싱크하는 데 사용되었습니다. 당 직원은 이를 딥페이크 기술의 "긍정적인" 사용으로 설명했는데, 이를 통해 "후보자가 유권자의 언어를 사용하지 않더라도 대상 청중에게 설득력 있게 다가갈 수 있었습니다."[129]
  • 2020년 브루노 사르토리는 자이르 볼소나루와 도널드 트럼프와 같은 정치인을 패러디한 딥페이크를 제작했습니다.[130]
  • 2021년 4월, 여러 유럽 국가의 정치인들이 장난꾸러기 Vovan 과 Lexus에게 접근당했습니다. 이들은 비판가들로부터 러시아 국가를 위해 일한다는 비난을 받고 있습니다. 이들은 러시아 야당 정치인이자 러시아 야당 지도자 Alexei Navalny의 선거 운동 수석 보좌관인 Leonid Volkov를 딥페이크 기술을 사용해 사칭했다고 합니다.[131][132][133][134] 하지만 이 둘은 The Verge에 딥페이크를 사용하지 않고, 그저 닮은 사람을 사용했다고 말했습니다.[135]
  • 2023년 5월, 카밀라 해리스 부통령이 말을 더듬고 오늘, 내일, 어제에 대해 터무니없이 말하는 딥페이크 영상이 소셜 미디어에서 화제가 되었습니다.[136][137]
  • 2023년 6월, 미국에서 Ron DeSantis의 대선 운동은 딥페이크를 사용해 도널드 트럼프를 잘못 표현했습니다.[138]
  • 2024년 3월, 인도의 주 의회 선거 기간 동안 정치 후보자들은 유권자들에게 다가가기 위해 딥페이크 기술을 널리 사용했습니다. 많은 정치인들이 Divyendra Singh Jadoun이 설립한 스타트업 The Indian Deepfaker가 만든 AI 생성 딥페이크를 사용하여[139] 연설을 여러 지역 언어로 번역하여 전국의 다양한 언어 커뮤니티와 소통할 수 있었습니다. 정치 캠페인에 딥페이크를 사용하는 급증은 인도의 선거 전략에 큰 변화를 가져왔습니다.[140][141]

포르노

[편집]

2017년, 딥페이크 포르노가 인터넷, 특히 Reddit에서 두드러지게 나타났습니다.[142] 2019년 현재, 인터넷의 많은 딥페이크는 일반적으로 동의 없이 모습이 사용된 여성 유명인의 포르노를 특징으로 합니다.[143] 네덜란드 사이버 보안 스타트업 Deeptrace가 2019년 10월에 발표한 보고서에 따르면 온라인의 모든 딥페이크의 96%가 포르노라고 추정했습니다.[144] 2018년 현재, 데이지 리들리의 딥페이크가 처음으로 주목을 받았습니다.[142] 그 외에도[145][146][147] 2019년 10월 현재, 인터넷의 딥페이크 주제의 대부분은 영국과 미국 배우였습니다.[143] 그러나 주제의 약 1/4이 한국인이며, 그 대부분은 K팝 스타입니다..[143][148]

2019년 6월, DeepNude라는 다운로드 가능한 WindowsLinux 애플리케이션이 출시되었는데, 이는 신경망, 특히 생성적 적대 신경망을 사용하여 여성 이미지에서 옷을 제거했습니다. 이 앱은 유료 버전과 무료 버전이 모두 있었고, 유료 버전은 50달러였습니다.[149][150] 6월 27일, 개발자는 애플리케이션을 제거하고 소비자에게 환불했습니다.[151]

여성 유명인은 종종 딥페이크 포르노의 주요 타깃이 됩니다. 2023년에는 얼굴 바꾸기 앱에서 엠마 왓슨스칼렛 요한슨의 딥페이크 포르노 영상이 온라인에 등장했습니다.[152] 2024년에는 테일러 스위프트의 딥페이크 포르노 이미지가 온라인에 유포되었습니다.[12]

학술 연구에 따르면 여성, LGBT 사람들, 유색인종(특히 활동가, 정치인, 권력에 의문을 제기하는 사람들)이 딥페이크 포르노 유포의 타깃이 될 위험이 더 높습니다.[153]

소셜 미디어

[편집]

딥페이크는 인기 있는 소셜 미디어 플랫폼에서 사용되기 시작했으며, 특히 로미오와 줄리엣, 왕좌의 게임과 같은 영화와 TV 쇼의 장면에 등장하는 캐릭터의 얼굴을 사용자가 자신의 얼굴로 바꿀 수 있는 중국의 딥페이크 앱인 Zao를 통해 사용되었습니다.[154] 이 앱은 원래 사용자 데이터와 개인정보 보호 정책에 대한 조사를 받았고, 이후 회사는 정책을 개정하겠다고 주장하는 성명을 발표했습니다[14] 2020년 1월 Facebook은 플랫폼에서 이에 대응하기 위한 새로운 조치를 도입한다고 발표했습니다.[155]

의회 조사국은 외국 정보 요원이 기밀 정보에 접근할 수 있는 개인을 모집할 목적으로 소셜 미디어 계정을 만드는 데 딥페이크를 사용했다는 것을 보여주는 불특정 증거를 인용했습니다.[82]

2021년 배우 톰 크루즈의 사실적인 딥페이크 영상이 TikTok에 공개되어 바이럴이 되었고 수천만 건 이상의 조회수를 기록했습니다. 딥페이크 영상에는 골프장에서 티오프를 하거나, 동전 트릭을 보여주거나, 막대 사탕을 깨물거나 하는 등 다양한 활동을 하는 크루즈의 "인공지능 생성 도플갱어"가 등장합니다. 이 클립을 만든 벨기에 VFX 아티스트 크리스 우메[156]는 2018년에 처음으로 딥페이크에 관심을 갖게 되었고, 딥페이크의 "창의적 잠재력"을 보았다고 말했습니다..[157][158]

우려와 대책

[편집]

가짜 사진은 오랫동안 넘쳐났지만, 동영상을 위조하는 것은 더 어려웠고, 딥페이크의 존재는 비디오를 진짜인지 아닌지 분류하는 것을 더욱 어렵게 만듭니다.[120] AI 연구자 알렉스 샹판다르는 사람들이 딥페이크 기술로 얼마나 빨리 사물이 손상될 수 있는지 알아야 하며, 이 문제는 기술적인 것이 아니라 정보와 저널리즘에 대한 신뢰로 해결해야 한다고 말했습니다.[120] 남가주대학교의 컴퓨터 과학 부교수 하오리는 가짜 뉴스와 같이 악의적인 용도로 제작된 딥페이크는 딥페이크 기술에 대한 인식을 확산하기 위한 조치를 취하지 않으면 더욱 해로울 것이라고 말합니다.[159] 리는 인공지능과 컴퓨터 그래픽의 급속한 발전으로 인해 2019년 10월 기준으로 반년 만에 진짜 비디오와 딥페이크를 구별할 수 없게 될 것이라고 예측했습니다.[159][159] 사기 수장인 슈만 고세마줌더는 딥페이크를 "사회적 우려"의 영역이라고 부르며, 필연적으로 자동으로 생성될 수 있는 지점까지 진화할 것이며, 개인이 이 기술을 사용하여 수백만 개의 딥페이크 비디오를 제작할 수 있다고 말했습니다.[160]

정보의 신뢰성

[편집]

가장 큰 함정은 인류가 매체의 내용이 진실과 일치하는지 더 이상 판단할 수 없는 시대로 빠질 수 있다는 것입니다.[120][161] 딥페이크는 허위 정보 공격(영어판)을 위한 여러 도구 중 하나로, 의심을 불러일으키고 신뢰를 훼손합니다. 집단적 의제 식별, 문제 토론, 의사 결정 정보 제공, 정치적 의지를 행사하여 문제 해결 등 사회의 민주적 기능을 방해할 가능성이 있습니다.[162] 사람들은 실제 사건을 가짜로 치부하기 시작할 수도 있습니다.[117]

명예훼손

[편집]

딥페이크는 개인을 엄청나게 손상시킬 수 있는 능력을 가지고 있습니다.[163] 이는 딥페이크가 종종 한 개인 및/또는 다른 사람과의 관계를 표적으로 삼아 여론이나 신념에 영향을 미칠 만큼 강력한 서사를 만들고자 하기 때문입니다. 이는 오디오를 조작하여 가짜 전화 통화나 대화를 만드는 딥페이크 음성 피싱을 통해 수행될 수 있습니다.[163] 딥페이크를 사용하는 또 다른 방법은 개인이 해로운 의견을 표명하는 것을 전달하기 위해 미디어를 조작하는 조작된 사적인 발언입니다.[163] 부정적인 비디오나 오디오의 품질은 그렇게 높을 필요가 없습니다. 누군가의 모습과 행동이 인식 가능한 한 딥페이크는 그들의 평판을 손상시킬 수 있습니다.[117]

2020년 9월 Microsoft는 딥페이크 감지 소프트웨어 도구를 개발 중이라고 공개했습니다.[164]

감지

[편집]

오디오

[편집]

가짜 오디오를 감지하는 것은 좋은 성능을 달성하기 위해 오디오 신호에 세심한 주의가 필요한 매우 복잡한 작업입니다. 딥 러닝, 기능 설계의 사전 처리 및 마스킹 증강을 사용하면 성능을 개선하는 데 효과적인 것으로 입증되었습니다..[165]

비디오

[편집]

딥페이크를 둘러싼 대부분의 학술 연구는 딥페이크 비디오 감지에 초점을 맞춥니다.[166] 딥페이크 감지에 대한 한 가지 접근 방식은 알고리즘을 사용하여 패턴을 인식하고 딥페이크 비디오에서 발생하는 미묘한 불일치를 파악하는 것입니다.[166] 예를 들어, 연구자들은 불규칙한 조명 깜박임 패턴과 같은 오류를 찾기 위해 비디오를 검사하는 자동 시스템을 개발했습니다.[167][12] 이 접근 방식은 딥페이크 감지가 딥페이크를 감지하는 알고리즘이 개선됨에 따라 딥페이크 제작이 계속 변경되고 개선되는 "이동하는 골대"로 특징지어지기 때문에 비판을 받았습니다.[166] 딥페이크를 감지하는 가장 효과적인 알고리즘을 평가하기 위해 주요 기술 회사 연합이 조작된 콘텐츠를 식별하는 기술을 가속화하기 위해 딥페이크 감지 챌린지를 주최했습니다.[168] Deepfake Detection Challenge에서 우승한 모델은 4,000개 비디오의 보류 세트에서 65%의 정확도를 보였습니다.[169] 매사추세츠 공과대학의 한 팀은 2021년 12월에 논문을 발표하여 일반인이 이러한 비디오 50개의 무작위 샘플을 식별하는 데 69~72%의 정확도를 보인다고 밝혔습니다.[170]

버팔로 대학의 한 팀은 2020년 10월에 논문을 발표했는데, 이 논문에서는 묘사된 인물의 눈에서 반사되는 빛을 이용해 딥페이크를 찾아낼 수 있는 기술을 설명했는데, 적어도 당장은 AI 감지 도구를 사용하지 않고도 성공률이 높았습니다.[171]

정치 지도자와 같은 잘 문서화된 개인의 경우 얼굴, 몸짓 및 음성적 매너리즘 패턴과 같은 신원 기반 특징을 구별하고 딥페이크 사칭자를 감지하기 위한 알고리즘이 개발되었습니다..[172]

University Of Southern California의 정보 과학 연구소의 Visual Intelligence and Multimedia Analytics Laboratory(VIMAL)의 Wael AbdAlmageed가 이끄는 또 다른 팀은 합성 신경망을 기반으로 하는 2세대[173][174]의 딥페이크 감지기를 개발했습니다. 1세대[173]는 순환 신경망을 사용하여 시공간적 불일치를 발견하여 딥페이크 생성 프로세스에서 남은 시각적 아티팩트를 식별했습니다. 이 알고리즘은 당시 사용 가능한 유일한 대규모 딥페이크 벤치마크인 FaceForensics++에서 96%의 정확도를 달성했습니다. 2세대[174]는 2개 분기 네트워크를 사용하여 아티팩트와 고수준 의미적 얼굴 정보를 구별하기 위해 엔드투엔드 딥 네트워크를 사용했습니다. 첫 번째 분기는 색상 정보를 전파하는 반면 다른 분기는 얼굴 콘텐츠를 억제하고 라플라시안 오브 가우시안 (LoG)을 사용하여 저수준 주파수를 증폭합니다. 또한 딥페이크의 표현(즉, 특징)을 분산시키는 동시에 진짜 얼굴의 컴팩트한 표현을 학습하는 새로운 손실 함수를 포함했습니다. VIMAL의 접근 방식은 FaceForensics++ 및 Celeb-DF 벤치마크에서 최첨단 성능을 보였으며, 2022년 3월 16일(출시 당일)에는 딥페이크가 만들어진 알고리즘에 대한 지식이나 재교육 없이도 볼로디미르 젤렌스키의 딥페이크를 즉시 식별하는 데 사용되었습니다.

다른 기술에서는 블록체인을 사용하여 미디어 출처를 확인할 수 있다고 제안합니다.[175] 예를 들어, 비디오는 소셜 미디어 플랫폼에 표시되기 전에 원장을 통해 확인되어야 할 수 있습니다.[175] 이 기술을 사용하면 신뢰할 수 있는 출처의 비디오만 승인되어 유해할 수 있는 딥페이크 미디어의 확산이 줄어듭니다.[175]

스마트폰 카메라를 포함한 모든 비디오와 이미지에 카메라와 비디오 카메라를 사용하여 디지털 서명하는 것이 딥페이크에 맞서기 위해 제안되었습니다.[176] 이를 통해 모든 사진이나 비디오를 원래 소유자까지 추적하여 반체제 인사를 추적하는 데 사용할 수 있습니다.[176]

딥페이크 화상 통화를 밝히는 쉬운 방법 중 하나는 통화자에게 옆으로 돌아서라고 요청하는 것입니다.[177]

예방

[편집]

딥페이크를 감지하는 회사인 Deeptrace에서 일하는 헨리 아지르는 직장에서 딥페이크를 방지하는 방법이 여러 가지 있다고 말합니다. 중요한 대화를 나눌 때는 의미적 비밀번호나 비밀 질문을 사용할 수 있습니다. 음성 인증 및 기타 생체 인식 보안 기능(영어판)은 최신 상태여야 합니다. 직원들에게 딥페이크에 대해 교육하십시오.[117]

논란

[편집]

2024년 3월, 케이트 미들턴이 암에 걸려 항암 화학 요법을 받고 있는 버킹엄 궁전의 비디오 클립이 공개되었습니다. 그러나 이 클립은 그 클립에 나오는 여성이 AI 딥페이크라는 소문을 부추겼습니다.[178] UCLA의 레이스 디렉터인 조나단 퍼킨스는 그녀가 암에 걸렸을 것이라고 의심했고, 그녀가 중태이거나 사망했을 수도 있다고 추측했습니다.[179]

예시 사건

[편집]
도널드 트럼프가 체포되는 모습을 담은 가짜 Midjourney 이미지[180]
딥페이크 영상: 블라디미르 푸틴, 미국인들에게 선거 간섭과 정치적 분열 심화에 대해 경고
교황 프란치스코가 퍼퍼 재킷을 입은 가짜 미드저니 제작 이미지
버락 오바마
2018년 4월 17일, 미국 배우 조던 필, 퍼즈피드, 몽키포 프로덕션은 버락 오바마의 딥페이크 영상을 유튜브에 게시했는데, 여기에는 버락 오바마가 도널드 트럼프를 저주하고 욕하는 모습이 담겨 있었습니다.[181] 이 딥페이크 영상에서 필의 ​​목소리와 얼굴은 오바마의 목소리와 얼굴로 변형되고 조작되었습니다. 이 영상의 의도는 딥페이크의 위험한 결과와 힘을 묘사하고, 딥페이크가 어떻게 누구나 무엇이든 말하게 만들 수 있는지 보여주는 것이었습니다.
도널드 트럼프
2019년 5월 5일, Derpfakes는 Jimmy Fallon이 The Tonight Show에서 공연한 스킷을 기반으로 Donald Trump의 딥페이크 영상을 YouTube에 게시했습니다.[182] 원래 스킷(2016년 5월 4일 방영)에서 Jimmy Fallon은 Donald Trump로 분장하고 Barack Obama와 전화 통화에 참여하는 척하면서 인디애나에서의 예비 선거 승리를 자랑하는 것처럼 대화를 나누었습니다.[182] 딥페이크 영상에서 Jimmy Fallon의 얼굴은 Donald Trump의 얼굴로 바뀌었고 오디오는 그대로 유지되었습니다. 이 딥페이크 영상은 Derpfakes가 코미디적 의도로 제작했습니다. 2023년 3월, 뉴욕 경찰이 Trump를 제지하는 모습이 담긴 일련의 이미지가 등장했습니다.[183] Midjourney를 사용하여 만든 이미지는 처음에 Eliot Higgins가 Twitter에 게시했지만 나중에 맥락 없이 다시 공유되어 일부 시청자는 실제 사진이라고 믿게 되었습니다.[180]
낸시 펠로시
2019년, 낸시 펠로시가 Center for American Progress에서 한 연설(2019년 5월 22일)에서 영상이 느려지고 오디오 피치도 바뀌어 마치 그녀가 취한 것처럼 보이도록 한 클립이 소셜 미디어에 널리 배포되었습니다. 비평가들은 이것이 딥페이크가 아니라 얕은페이크, 즉 덜 정교한 형태의 영상 조작이라고 주장합니다.[184][185]
마크 주커버그
2019년 5월, CannyAI라는 회사와 협업한 두 명의 아티스트가 Facebook 설립자 [184][185]가 수십억 명의 사람들의 데이터를 수집하고 제어하는 ​​것에 대해 이야기하는 딥페이크 영상을 제작했습니다. 이 영상은 대중에게 인공지능의 위험성에 대해 알리기 위한 전시회의 일부였습니다.[186][187]
김정은과 블라디미르 푸틴
2020년 9월 29일, 비당파 옹호 단체인 RepresentUs가 제작한 북한 김정은 국무위원장과 러시아 대통령 블라디미르 푸틴의 딥페이크 영상이 YouTube에 업로드되었습니다.[188] 김정은과 푸틴의 딥페이크 영상은 미국 선거에 대한 이들 지도자들의 간섭이 미국의 민주주의에 해롭다는 개념을 전달하는 광고로 대중에 공개될 예정이었습니다. 이 광고는 또한 미국인들에게 민주주의가 얼마나 취약한지, 그리고 미디어와 뉴스가 신뢰성과 관계없이 국가의 진로에 상당한 영향을 미칠 수 있는지 깨닫게 하는 것을 목표로 했습니다.[188]그러나 이 광고에는 영상이 진짜가 아니라는 내용을 자세히 설명하는 마지막 코멘트가 포함되었지만, 미국인들이 어떻게 반응할지에 대한 두려움과 민감성 때문에 궁극적으로 방송되지 않았습니다.[188] 2023년 6월 5일, 알려지지 않은 출처에서 여러 라디오와 텔레비전 네트워크에서 블라디미르 푸틴의 딥페이크 영상을 방송했습니다. 영상에서 푸틴은 러시아 침공을 발표하고 군대의 총동원을 촉구하는 연설을 하는 것으로 보인다.[189]
볼로디미르 젤렌스키
2022년 3월 16일, 우크라이나 대통령 볼로디미르 젤렌스키가 2022년 러시아의 우크라이나 침공 당시 군인들에게 무기를 내려놓고 항복하라고 말하는 모습을 담은 1분 분량의 딥페이크 영상이 소셜 미디어에 유포되었습니다.[1] 러시아 소셜 미디어에서 이를 홍보했지만, 사실이 아닌 것으로 밝혀진 후 Facebook과 YouTube에서 삭제했습니다. Twitter에서는 가짜로 폭로된 트윗에서는 영상을 허용했지만, 사람들을 속이려고 게시하면 삭제하겠다고 밝혔습니다. 해커들은 TV 방송국 Ukraine 24의 라이브 스크롤링 텍스트 뉴스 크롤에 허위 정보를 삽입했고, 영상은 젤렌스키가 자국의 수도인 키이우에서 도망쳤다는 거짓 주장과 함께 방송국 웹사이트에 잠깐 게재되었습니다. 딥페이크를 만든 사람이 누구인지는 즉시 밝혀지지 않았고, 젤렌스키는 자신의 영상으로 "우리는 무기를 내려놓을 계획이 없습니다. 승리할 때까지요."[190]라고 답했습니다.
Wolf News
2022년 후반, 친중 선전가들은 합성 배우를 사용한 "Wolf News"에서 나온 것처럼 가장한 딥페이크 영상을 퍼뜨리기 시작했습니다. 이 기술은 Synthesia라는 런던 회사에서 개발했으며, 훈련 및 HR 영상을 위한 라이브 배우에 대한 저렴한 대안으로 마케팅합니다.[191]
교황 프란치스코
2023년 3월, 시카고의 익명의 건설 노동자가 Midjourney를 사용하여 흰색 발렌시아가 퍼퍼 재킷을 입은 교황 프란치스코의 가짜 이미지를 만들었습니다. 이 이미지는 바이럴이 되어 2천만 뷰 이상을 기록했습니다.[192] 작가 라이언 브로데릭은 이를 "최초의 대중적 AI 허위 정보 사례"라고 불렀습니다.[193] Slate에서 상담한 전문가들은 이 이미지를 세련되지 않은 것으로 규정했습니다. "5년 전에 포토샵으로 만들 수 있었을 겁니다."[194]
키어 스타머
2023년 10월, 영국 노동당 대표 키어 스타머가 직원들을 학대하는 딥페이크 오디오 클립이 노동당 회의 첫날에 공개되었습니다. 이 클립은 스타머가 직원들을 학대하는 오디오 테이프라고 주장했습니다.[195]
Rashmika Mandanna
2023년 11월 초, 유명한 남인도 배우 라쉬미카 만다나는 딥페이크의 희생양이 되었습니다. 유명한 영국 인도 인플루언서 자라 파텔의 변형된 영상이 라쉬미카의 얼굴과 함께 소셜 미디어에 떠돌기 시작하면서였습니다. 자라 파텔은 영상 제작에 관여하지 않았다고 주장합니다.[196]
봉봉 마르코스
2024년 4월, 필리핀 대통령 봉봉 마르코스를 잘못 표현한 딥페이크 영상이 공개되었습니다. 이는 마르코스가 중국이 필리핀을 공격할 경우 필리핀군과 특수임무부대에 "적절한 대로" 행동하라고 명령한 것으로 알려진 딥페이크 오디오가 첨부된 슬라이드쇼입니다. 이 영상은 남중국해 분쟁(영어판)과 관련된 긴장 속에서 공개되었습니다.[197] 대통령 통신실은 대통령으로부터 그러한 지시가 없었으며, 외국 배우가 조작된 미디어 뒤에 있을 수 있다고 말했습니다.[198] 필리핀 방송사(Kapisanan ng mga Brodkaster ng Pilipinas)는 딥페이크 미디어와 관련하여 형사 고발을 제기했습니다.[199] 2024년 7월 22일, 마르코스의 전 지지자인 클레어 콘트레라스가 마르코스가 불법 약물을 코로 흡입하는 것으로 알려진 영상을 공개했습니다. 폴보론 영상으로 불리는 이 영상은 마르코스의 전임자인 로드리고 두테르테가 마르코스가 마약 중독자라고 암시한 내용과 일관성이 있다는 점을 언론에서 지적했습니다. 이 영상은 두테르테와 뜻을 같이 하는 사람들이 조직한 하크방 응 마이수그(Hakbang ng Maisug) 집회에서도 상영되었습니다.[200] 이틀 후 필리핀 국가 경찰과 국가 수사국은 자체 조사 결과를 토대로 이 영상이 AI를 사용해 제작되었다고 결론 내렸습니다. 또한 영상 속 인물과 마르코스의 인물 사이에 두 사람의 귀에 대한 세부 정보가 일치하지 않는다는 점도 지적했습니다.[201]
조 바이든
2024 미국 대선 이전에, 현직 조 바이든의 목소리를 흉내 낸 전화 ​​통화가 사람들이 그에게 투표하지 않도록 설득하기 위해 이루어졌습니다. 전화를 담당한 사람은 유권자 억압과 후보 사칭 혐의로 기소되었습니다. FCC는 그에게 600만 달러의 벌금을 부과하고, 전화를 중계한 것으로 알려진 회사인 Lingo Telecom에 200만 달러의 벌금을 부과하기로 했습니다.[202][203]

반응

[편집]

소셜 미디어 플랫폼

[편집]

Twitter(후에 X로 변경)는 플랫폼에서 합성 및 조작된 미디어를 처리하기 위한 적극적인 조치를 취하고 있습니다. Twitter는 허위 정보가 퍼지는 것을 방지하기 위해 조작된 미디어 및/또는 딥페이크가 포함된 트윗에 미디어가 조작되었다는 것을 시청자에게 알리는 알림을 게시합니다.[204] 또한 트윗을 리트윗하거나 좋아요를 누르거나 참여하려는 사용자에게 경고가 표시됩니다.[204] Twitter는 조작 또는 합성 미디어가 포함된 트윗 옆에 관련 주제에 대한 Twitter Moment 또는 신뢰할 수 있는 뉴스 기사로 연결되는 링크를 사용자에게 제공하여 반박 조치를 취합니다.[204] Twitter는 또한 사용자의 안전에 해를 끼칠 수 있는 딥페이크 또는 조작된 미디어가 포함된 모든 트윗을 제거할 수 있습니다.[204] Twitter의 딥페이크 및 조작된 미디어 감지를 개선하기 위해 Twitter는 딥페이크 감지 솔루션에 협력하고자 하는 사용자에게 양식을 작성하도록 요청했습니다.[205]

"2024년 8월, 미네소타, 펜실베이니아, 워싱턴, 미시간, 뉴멕시코 주무장관은 X 소유주인 엘론 머스크에게 공개 서한을 보내 2024년 8월에 추가된 AI 챗봇 Grok의 새로운 텍스트-비디오 생성기를 수정해 줄 것을 촉구했으며, 이 생성기가 선거에 대한 잘못된 정보를 유포했다고 언급했습니다.[206][207][208]

Facebook은 최첨단 딥페이크 감지 소프트웨어를 개발하기 위해 딥페이크 제작을 장려하는 데 노력했습니다. Facebook은 2019년 12월에 개최된 딥페이크 감지 챌린지(DFDC)를 주최한 주요 파트너로, 35,000개 이상의 모델을 생성한 2,114명의 참가자를 대상으로 했습니다[209] 감지 정확도가 가장 높은 상위 성과 모델을 분석하여 유사점과 차이점을 파악했습니다. 이러한 결과는 딥페이크 감지 모델을 개선하고 개량하기 위한 추가 연구에서 관심 있는 분야입니다.[209] Facebook은 또한 플랫폼이 개인의 말을 바꾸는 데 사용된 인공 지능으로 생성된 미디어를 삭제할 것이라고 자세히 설명했습니다.[210] 그러나 메시지의 단어 순서나 맥락을 변경하기 위해 편집된 미디어는 인공 지능에 의해 생성되지 않았으므로 사이트에 남아 있지만 거짓으로 분류됩니다.[210]

2018년 1월 31일, Gfycat은 사이트에서 모든 딥페이크를 제거하기 시작했습니다.[211][212] Reddit에서 r/deepfakes 서브레딧은 "비자발적 포르노" 정책 위반으로 2018년 2월 7일에 금지되었습니다.[213][214][215][216][217] 같은 달, Twitter의 대표는 동의 없이 딥페이크 콘텐츠를 게시한 것으로 의심되는 계정을 정지하겠다고 밝혔습니다.[218] 채팅 사이트 Discord는 과거에 딥페이크에 대한 조치를 취했으며[9] 딥페이크에 대한 일반적인 입장을 취했습니다.[212][219] 2018년 9월, Google은 금지 목록에 "비자발적 합성 포르노 이미지"를 추가하여 누구나 가짜 누드를 보여주는 결과 블록을 요청할 수 있도록 했습니다.[220]

2018년 2월, Pornhub는 딥페이크 동영상이 서비스 약관을 위반하는 "합의되지 않은 콘텐츠"로 간주되기 때문에 웹사이트에서 딥페이크 동영상을 금지할 것이라고 밝혔습니다.[221] 또한 이전에 Mashable에 딥페이크로 표시된 콘텐츠를 삭제할 것이라고 말했습니다.[222] Motherboard의 작가들은 Pornhub에서 "딥페이크"를 검색해도 여전히 여러 개의 최근 딥페이크 동영상이 반환되었다고 보고했습니다.[221]

Facebook은 이전에 자사 플랫폼에서 딥페이크를 제거하지 않을 것이라고 밝혔습니다.[223] 대신 해당 동영상은 제3자에 의해 가짜로 표시되고 사용자 피드에서 우선순위가 낮아집니다.[224] 이러한 대응은 2016년 Mark Zuckerberg의 동영상을 특징으로 하는 딥페이크가 Facebook과 Instagram에 유포된 후 2019년 6월에 이루어졌습니다.[223]

2022년 5월, GoogleJupyter Notebook colabs 서비스 약관을 공식적으로 변경하여 딥페이크를 만드는 목적으로 콜라보 서비스를 사용하는 것을 금지했습니다.[225] 이것은 VICE 기사가 게시된 지 며칠 후에 나온 것으로, "대부분의 딥페이크는 합의하지 않은 포르노"이며, "이 세대의 딥페이크 대부분을 구동하는 가장 중요한 기술"인 인기 있는 딥페이크 소프트웨어 DeepFaceLab(DFL)의 주된 용도는 합의하지 않은 포르노를 만드는 것이라고 주장했습니다. 이 소프트웨어는 종종 Google 콜라보와 함께 사용되었으며, The Walt Disney Company에서 의뢰한 딥페이크, 공식 뮤직 비디오, 사우스파크 제작자의 웹 시리즈 Sassy Justice와 같은 타사 DFL 구현의 다른 많은 잘 알려진 사례들 중에서 DFL의 GitHub 페이지가 딥페이크 포르노 웹사이트 Mr.Deepfakes에 링크되어 있고 DFL Discord 서버 참여자도 Mr.Deepfakes에 참여한다는 사실을 지적했습니다.[226]

입법

[편집]

미국에서는 딥페이크가 야기하는 문제에 대한 몇 가지 대응책이 있었습니다. 2018년에 악의적 딥페이크 금지법이 US 상원에 도입되었습니다.[227] 2019년에 딥페이크 책임법이 뉴욕 9선거구의 미국 대표인 이벳 클라크에 의해 제116회 미국 의회에 도입되었습니다.[228] 버지니아,[229] 텍사스, 캘리포니아, 뉴욕을 포함한 여러 주에서도 딥페이크와 관련된 법안을 도입했습니다.[230] 신원 도용, 사이버스토킹, 복수 포르노와 같은 다양한 혐의가 제기되었고, 보다 포괄적인 법률이 촉구되었습니다.[220]

미국 입법 노력 중 2019년 10월 3일에 캘리포니아 주지사 개빈 뉴섬은 의회 법안 602호와 730호에 서명했습니다.[231][232] 영어: Assembly Bill No. 602는 동의 없이 제작된 성적으로 노골적인 딥페이크 콘텐츠의 표적이 된 개인에게 콘텐츠 제작자를 상대로 소송을 제기할 수 있는 권한을 제공합니다.[231] Assembly Bill No. 730은 선거일로부터 60일 이내에 공직에 출마한 후보자를 표적으로 삼는 악의적인 딥페이크 오디오 또는 비디오 미디어의 배포를 금지합니다.[232] 미국 대표 Yvette Clarke는 딥페이크 기술로 인한 위협으로부터 국가 안보를 보호하기 위해 2023년 9월 20일에 제 118회 미국 의회에 H.R. 5586: 딥페이크 책임법을 도입했습니다.[233] 미국 대표 María Salazar는 2024년 1월 10일에 제 118회 미국 의회에 H.R. 6943: AI 사기 금지법을 도입하여 음성을 포함한 개인의 신체적 특성에 대한 구체적인 재산권을 확립했습니다.[234]

2019년 11월, 중국은 딥페이크 및 기타 합성적으로 위조된 영상에 2020년부터 위조에 대한 명확한 고지 사항을 표시해야 한다고 발표했습니다. 이를 준수하지 않을 경우 중국 사이버스페이스 관리국은 웹사이트에 이를 범죄로 간주할 수 있다고 명시했습니다.[235] 중국 정부는 규칙을 준수하지 않는 사용자와 온라인 비디오 플랫폼을 모두 기소할 권리를 유보하는 것으로 보입니다.[236] 중국 사이버스페이스 관리국, 공업정보화부, 공안부는 2022년 11월에 공동으로 딥 신세시스 인터넷 정보 서비스 관리 규정을 발표했습니다.[237] 중국의 업데이트된 딥 신세시스 규정(인터넷 기반 정보 서비스의 딥 신세시스에 대한 관리 규정)은 2023년 1월에 발효되었습니다.[238]

영국에서는 딥페이크 콘텐츠 제작자가 괴롭힘 혐의로 기소될 수 있지만, 딥페이크 제작은 2023년 온라인 안전법이 통과되어 딥페이크가 불법화될 때까지 특정 범죄가 아니었습니다.[239] 영국은 2024년에 "괴로움을 유발하려는 의도"로 제작된 딥페이크를 범죄화하기 위해 이 법의 범위를 확대할 계획입니다.[240][241]

캐나다에서는 2019년에 통신 보안 기관에서 딥페이크가 캐나다 정치에 간섭하는 데 사용될 수 있다고 밝힌 보고서를 발표했습니다. 특히 정치인의 신뢰를 떨어뜨리고 유권자에게 영향을 미치는 데 사용될 수 있습니다.[242][243] 그 결과, 캐나다 시민들은 딥페이크의 표적이 될 경우 이를 처리할 수 있는 여러 가지 방법이 있습니다.[244] 2024년 2월, 형법과 기타 법률을 개정하는 온라인 피해 방지법을 제정하기 위해 제44차 캐나다 의회에 법안 C-63이 상정되었습니다. [242][243]인 C-36은 2021년 9월 제43차 캐나다 의회가 해산되면서 종료되었습니다.[245][246]

인도에는 AI 또는 딥페이크에 대한 직접적인 법률이나 규정이 없지만 인도 형법 및 정보기술법 2000/2008에 따라 법적 구제책을 살펴볼 수 있는 조항이 있으며, MoS Rajeev Chandrasekhar에 따르면 새로 제안된 디지털 인도법에는 특히 AI와 딥페이크에 대한 장이 포함될 예정입니다.[247]

In August 2024, the Irish 데이터 보호 위원회 (DPC) launched court proceedings against X for its unlawful use of the personal data of over 60 million EU/EEA users, in order to train its AI technologies, such as its 챗봇 Grok.[248]

유럽에서는 유럽연합의 2024년 인공지능법AI법)이 딥페이크를 포함한 AI 시스템을 규제하는 데 위험 기반 접근 방식을 취합니다. 이 법은 "허용할 수 없는 위험", "높은 위험", "특정/제한적 또는 투명성 위험", "최소한의 위험"의 범주를 설정하여 AI 제공자와 사용자의 규제 의무 수준을 결정합니다. 그러나 딥페이크의 맥락에서 이러한 위험 범주에 대한 명확한 정의가 부족하여 효과적인 구현에 잠재적인 어려움이 발생합니다. 법학자들은 정치적 허위 정보나 비합의적 친밀한 이미지 생성을 목적으로 하는 딥페이크의 분류에 대해 우려를 표명했습니다. 이러한 용도가 항상 "고위험" AI 시스템으로 간주되어야 하는지에 대한 논쟁이 있으며, 이는 더 엄격한 규제 요구 사항으로 이어질 것입니다.[249]

2024년 8월, 아일랜드 데이터 보호 위원회(DPC)는 X가 챗봇 Grok[248]과 같은 AI 기술을 훈련하기 위해 6,000만 명이 넘는 EU/EEA 사용자의 개인 데이터를 불법적으로 사용했다는 이유로 X에 대한 법적 절차를 시작했습니다.

DARPA의 응답

[편집]

2016년, 국방고등연구계획국(DARPA)은 2020년까지 자금이 지원되는 Media Forensics(MediFor) 프로그램을 시작했습니다.[250] MediFor는 Deepfakes를 포함한 이미지와 비디오에서 디지털 조작을 자동으로 발견하는 것을 목표로 했습니다.[251][252] 2018년 여름, MediFor는 개인이 AI가 생성한 비디오, 오디오, 이미지와 이러한 Deepfakes를 감지하는 자동화된 도구를 만들기 위해 경쟁하는 이벤트를 개최했습니다.[253] MediFor 프로그램에 따르면, 조작된 미디어를 정확하게 감지하기 위한 노력의 일환으로 디지털 무결성, 물리적 무결성, 의미적 무결성의 세 가지 정보 계층 프레임워크를 구축했습니다.[254]

2019년, DARPA는 연구자들이 AI가 조작한 미디어의 바이러스 확산을 방지하기 위해 노력하는 Semantic Forensics(SemaFor) 프로그램을 위한 "제안자의 날"을 개최했습니다.[255] DARPA와 Semantic Forensics Program은 또한 상식과 논리적 추론을 활용하도록 컴퓨터를 훈련시키는 노력을 통해 AI 조작 미디어를 감지하기 위해 협력했습니다.[255] MediFor의 기술을 기반으로 하는 SemaFor의 귀속 알고리즘은 디지털 미디어가 특정 조직이나 개인에게서 유래했는지 추론하는 반면, 특성화 알고리즘은 미디어가 악의적인 목적으로 생성되거나 조작되었는지 여부를 판별합니다.[256] 2024년 3월, SemaFor는 SemaFor에서 개발한 오픈 소스 리소스에 대한 대중 액세스를 제공하는 분석 카탈로그를 게시했습니다.[257][258]

정보 환경에 관한 국제 패널

[편집]

정보 환경에 관한 국제 패널은 2023년에 250명 이상의 과학자로 구성된 컨소시엄으로 출범하여 인터넷을 통해 정보를 전파하는 조직의 왜곡된 인센티브로 인해 발생하는 딥페이크 및 기타 문제에 대한 효과적인 대책을 개발하기 위해 노력합니다.[259]

대중 문화에서

[편집]
  • 1986년 12월 중순에 발행된 Analog 매거진은 Jack Wodhams의 소설 "Picaper"를 출판했습니다.[260] 그 줄거리는 숙련된 해커가 비도덕적인 변호사와 정치인을 위해 제작한 디지털로 강화되거나 디지털로 생성된 비디오를 중심으로 전개됩니다.[261]
  • Arnold Schwarzenegger가 주연한 1987년 영화 The Running Man은 독재 정부가 컴퓨터를 사용하여 배우의 얼굴을 수배된 도망자의 얼굴로 디지털로 대체하여 도망자가 무력화된 것처럼 보이게 하는 것을 묘사합니다.
  • 1992년 필립 커의 테크노 스릴러 A Philosophical Investigation에서 주인공이자 연쇄 살인범인 "Wittgenstein"은 딥페이크와 유사한 소프트웨어와 가상 현실 슈트를 모두 사용하여 자신을 잡도록 배정된 여성 경찰 중위인 Isadora "Jake" Jakowicz의 아바타와 성관계를 갖습니다.[262]
  • 숀 코네리와 웨슬리 스나입스가 주연을 맡은 1993년 영화 Rising Sun은 컴퓨터 디스크가 경쟁자를 연루시키기 위해 개인 신원을 디지털로 변경했다는 사실을 밝히는 또 다른 캐릭터인 Jingo Asakuma를 묘사합니다.
  • 딥페이크 기술은 2019년 BBC One TV 시리즈 The Capture의 줄거리에 포함되어 있습니다. 첫 번째 시리즈는 변호사를 폭행하고 납치한 혐의를 받는 전 영국 육군 상사 Shaun Emery를 따라갑니다. 전문적으로 조작된 CCTV 영상에서 그를 함정에 빠뜨리고 사건을 조사하는 경찰을 오도한 것으로 밝혀졌습니다.[263][264] 두 번째 시리즈는 정치인 아이작 터너가 또 다른 딥페이크 영상으로 인해 자신의 평판이 훼손되고 있다는 사실을 알아내고, 결국 "수정본"이 대중에게 폭로되는 이야기를 다룹니다.
  • 2020년 6월, YouTube 딥페이크 아티스트 Shamook은 사랑받는 배우 톰 행크스의 얼굴을 존 트라볼타의 얼굴로 바꿔 1994년 영화 포레스트 검프의 딥페이크를 만들었습니다. 그는 포레스트 검프와 거의 같은 시기에 개봉한 여러 영화에서 존 트라볼타의 얼굴을 담은 고화질 정지 이미지 6,000장을 사용하여 이 작품을 만들었습니다. 그런 다음 Shamook은 180도 얼굴 프로필을 만들어 기계 학습 소프트웨어(DeepFaceLab)에 입력했고, 포레스트 검프의 톰 행크스 얼굴도 넣었습니다.[265] 이 딥페이크의 유머와 아이러니는 존 트라볼타가 포레스트 검프의 주인공을 맡을 기회를 거절한 것은 Pulp Fiction에 출연하기로 했기 때문이라고 밝힌 2007년으로 거슬러 올라갑니다.[266] Al Davis 대 NFL: ESPN30 for 30 다큐멘터리 시리즈의 일부인 2021년 다큐멘터리의 내러티브 구조는 영화의 두 중심 인물(둘 다 사망)의 딥페이크 버전을 사용합니다. 두 인물은 오클랜드와 로스앤젤레스에서 팀이 재임하는 동안 라스베이거스 레이더스를 소유했던 Al Davis와 NFL 커미셔너로 Davis와 자주 충돌했던 Pete Rozelle입니다.[267][268]
  • 딥페이크 기술은 2022년 1월 6일에 처음 방영된 캐나다 경찰 시리즈 Hudson & Rex의 57번째 에피소드인 "Impawster Syndrome"에 등장합니다. 여기서 세인트 존스 경찰팀의 한 구성원이 자신의 모습을 사용하여 조작된 CCTV 영상으로 인해 강도와 폭행 혐의로 조사를 받습니다.[269]
  • 2022년 싱글 "The Heart Part 5"의 뮤직 비디오에서 딥페이크 기술을 사용하여 음악가 Kendrick Lamar는 Nipsey Hussle, O.J. Simpson, Kanye West 등을 닮은 인물로 변신했습니다[270] 비디오의 딥페이크 기술은 South Park를 만든 Trey Parker와 Matt Stone이 이끄는 스튜디오인 Deep Voodoo에서 만들었습니다.[270]
  • Aloe Blacc은 딥페이크 기술을 사용하여 영어, 스페인어, 중국어로 그들의 노래 "Wake Me Up"[271]을 공연하여 사망 4주기를 맞은 오랜 협력자 Avicii를 기렸습니다.[272]
  • 2023년 1월, ITVX는 Deep Fake Neighbour Wars 시리즈를 출시했는데, 여기서 다양한 유명인이 배우에 의해 무의미한 갈등을 겪고, 유명인의 얼굴이 그들에게 딥페이크되었습니다.[273] 2023년 10월, 톰 행크스는 자신의 Instagram 페이지에 "어떤 치과 계획"을 홍보하는 모습을 묘사한 딥페이크 유사 사진의 사진을 공유했습니다. 행크스는 팬들에게 "조심하세요... 저는 아무 상관이 없습니다."[99]라고 경고했습니다.

참조

[편집]
  1. Brandon, John (2018년 2월 16일). “Terrifying high-tech porn:consumer Creepy 'deepfake' videos are on the rise”. 《Fox News》. 2018년 6월 15일에 원본 문서에서 보존된 문서. 2018년 2월 20일에 확인함. 
  2. Juefei-Xu, Felix; Wang, Run; Huang, Yihao; Guo, Qing; Ma, Lei; Liu, Yang (2022년 7월 1일). “Countering Malicious DeepFakes: Survey, Battleground, and Horizon”. 《International Journal of Computer Vision》 130 (7): 1678–1734. doi:10.1007/s11263-022-01606-8. ISSN 1573-1405. PMC 9066404. PMID 35528632. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 7월 15일에 확인함. 
  3. Kietzmann, J.; Lee, L. W.; McCarthy, I. P.; Kietzmann, T. C. (2020). “Deepfakes: Trick or treat?” (PDF). 《Business Horizons》 63 (2): 135–146. doi:10.1016/j.bushor.2019.11.006. S2CID 213818098. 2022년 12월 29일에 원본 문서 (PDF)에서 보존된 문서. 2022년 12월 30일에 확인함. 
  4. Waldrop, M. Mitchell (2020년 3월 16일). “Synthetic media: The real trouble with deepfakes”. 《Knowable Magazine》 (Annual Reviews). doi:10.1146/knowable-031320-1. 2022년 11월 19일에 원본 문서에서 보존된 문서. 2022년 12월 19일에 확인함. 
  5. Schwartz, Oscar (2018년 11월 12일). “You thought fake news was bad? Deep fakes are where truth goes to die”. 《The Guardian》. 2019년 6월 16일에 원본 문서에서 보존된 문서. 2018년 11월 14일에 확인함. 
  6. Farid, Hany (2019년 9월 15일). “Image Forensics”. 《Annual Review of Vision Science》 5 (1): 549–573. doi:10.1146/annurev-vision-091718-014827. ISSN 2374-4642. PMID 31525144. S2CID 263558880. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 9월 20일에 확인함. 
  7. Banks, Alec (2018년 2월 20일). “What Are Deepfakes & Why the Future of Porn is Terrifying”. 《Highsnobiety》. 2021년 7월 14일에 원본 문서에서 보존된 문서. 2018년 2월 20일에 확인함. 
  8. Christian, Jon. “Experts fear face swapping tech could start an international showdown”. 《The Outline》. 2020년 1월 16일에 원본 문서에서 보존된 문서. 2018년 2월 28일에 확인함. 
  9. Roose, Kevin (2018년 3월 4일). “Here Come the Fake Videos, Too”. 《The New York Times》. ISSN 0362-4331. 2019년 6월 18일에 원본 문서에서 보존된 문서. 2018년 3월 24일에 확인함. 
  10. Schreyer, Marco; Sattarov, Timur; Reimer, Bernd; Borth, Damian (October 2019). “Adversarial Learning of Deepfakes in Accounting”. arXiv:1910.03810 [cs.LG]. 
  11. Caramancion, Kevin Matthe (2021년 4월 21일). 〈The Demographic Profile Most at Risk of being Disinformed〉. 《2021 IEEE International IOT, Electronics and Mechatronics Conference (IEMTRONICS)》. IEEE. 1–7쪽. doi:10.1109/iemtronics52119.2021.9422597. ISBN 978-1-6654-4067-7. S2CID 234499888. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 6월 9일에 확인함. 
  12. Harwell, Drew (2019년 6월 12일). “Top AI researchers race to detect 'deepfake' videos: 'We are outgunned'. 《The Washington Post》. 2019년 10월 31일에 원본 문서에서 보존된 문서. 2019년 11월 8일에 확인함. 
  13. Sanchez, Julian (2018년 2월 8일). “Thanks to AI, the future of 'fake news' is being pioneered in homemade porn”. 《NBC News》. 2019년 11월 9일에 원본 문서에서 보존된 문서. 2019년 11월 8일에 확인함. 
  14. Porter, Jon (2019년 9월 2일). “Another convincing deepfake app goes viral prompting immediate privacy backlash”. 《The Verge》. 2019년 9월 3일에 원본 문서에서 보존된 문서. 2019년 11월 8일에 확인함. 
  15. Vatreš, Amina (2021). “Deepfake Phenomenon: An advanced form of fake news and its implications on reliable journalism”. 《Društvene i humanističke studije》 16 (3): 561–576. doi:10.51558/2490-3647.2021.6.3.561. 
  16. Bode, Lisa; Lees, Dominic; Golding, Dan (2021년 7월 29일). “The Digital Face and Deepfakes on Screen”. 《Convergence: The International Journal of Research into New Media Technologies27 (4): 849–854. doi:10.1177/13548565211034044. ISSN 1354-8565. S2CID 237402465. 
  17. Holliday, Christopher (2021년 7월 26일). “Rewriting the stars: Surface tensions and gender troubles in the online media production of digital deepfakes”. 《Convergence: The International Journal of Research into New Media Technologies》 27 (4): 899–918. doi:10.1177/13548565211029412. ISSN 1354-8565. S2CID 237402548. 
  18. Gingrich, Oliver M. (2021년 7월 5일). “GENDER*UCK: Reframing gender & media art”. 《Proceedings of EVA London 2021 (EVA 2021)》. Electronic Workshops in Computing. doi:10.14236/ewic/EVA2021.25. S2CID 236918199. 
  19. Fletcher, John (2018). “Deepfakes, Artificial Intelligence, and Some Kind of Dystopia: The New Faces of Online Post-Fact Performance”. 《Theatre Journal》 70 (4): 455–471. doi:10.1353/tj.2018.0097. ISSN 1086-332X. S2CID 191988083. 
  20. Vatreš, Amina (2021). “Deepfake Phenomenon: An advanced form of fake news and its implications on reliable journalism”. 《Društvene i humanističke studije》 16 (3): 561–576. doi:10.51558/2490-3647.2021.6.3.561. 
  21. Öhman, Carl (2020년 6월 1일). “Introducing the pervert's dilemma: a contribution to the critique of Deepfake Pornography”. 《Ethics and Information Technology》 22 (2): 133–140. doi:10.1007/s10676-019-09522-1. ISSN 1572-8439. S2CID 208145457. 
  22. van der Nagel, Emily (2020년 10월 1일). “Verifying images: deepfakes, control, and consent”. 《Porn Studies》 7 (4): 424–429. doi:10.1080/23268743.2020.1741434. ISSN 2326-8743. S2CID 242891792. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2022년 2월 9일에 확인함. 
  23. Fallis, Don (2021년 12월 1일). “The Epistemic Threat of Deepfakes”. 《Philosophy & Technology》 34 (4): 623–643. doi:10.1007/s13347-020-00419-2. ISSN 2210-5433. PMC 7406872. PMID 32837868. 
  24. Chesney, Robert; Citron, Danielle Keats (2018). “Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security”. 《SSRN Electronic Journal》. doi:10.2139/ssrn.3213954. ISSN 1556-5068. 2019년 12월 21일에 원본 문서에서 보존된 문서. 2022년 2월 9일에 확인함. 
  25. Yadlin-Segal, Aya; Oppenheim, Yael (February 2021). “Whose dystopia is it anyway? Deepfakes and social media regulation”. 《Convergence: The International Journal of Research into New Media Technologies》 27 (1): 36–51. doi:10.1177/1354856520923963. ISSN 1354-8565. S2CID 219438536. 2022년 2월 9일에 원본 문서에서 보존된 문서. 2022년 2월 9일에 확인함. 
  26. Hwang, Yoori; Ryu, Ji Youn; Jeong, Se-Hoon (2021년 3월 1일). “Effects of Disinformation Using Deepfake: The Protective Effect of Media Literacy Education”. 《Cyberpsychology, Behavior, and Social Networking》 24 (3): 188–193. doi:10.1089/cyber.2020.0174. ISSN 2152-2715. PMID 33646021. S2CID 232078561. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2022년 2월 9일에 확인함. 
  27. Hight, Craig (2021년 11월 12일). “Deepfakes and documentary practice in an age of misinformation”. 《Continuum》 36 (3): 393–410. doi:10.1080/10304312.2021.2003756. ISSN 1030-4312. S2CID 244092288. 2022년 2월 9일에 원본 문서에서 보존된 문서. 2022년 2월 9일에 확인함. 
  28. Hancock, Jeffrey T.; Bailenson, Jeremy N. (2021년 3월 1일). “The Social Impact of Deepfakes”. 《Cyberpsychology, Behavior, and Social Networking》 24 (3): 149–152. doi:10.1089/cyber.2021.29208.jth. ISSN 2152-2715. PMID 33760669. S2CID 232356146. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2022년 2월 9일에 확인함. 
  29. de Seta, Gabriele (2021년 7월 30일). “Huanlian, or changing faces: Deepfakes on Chinese digital media platforms”. 《Convergence: The International Journal of Research into New Media Technologies》 27 (4): 935–953. doi:10.1177/13548565211030185. hdl:11250/2833613. ISSN 1354-8565. S2CID 237402447. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2022년 2월 9일에 확인함. 
  30. Bregler, Christoph; Covell, Michele; Slaney, Malcolm (1997). 〈Video Rewrite: Driving visual speech with audio〉. 《Proceedings of the 24th annual conference on Computer graphics and interactive techniques – SIGGRAPH '97》 24. 353–360쪽. doi:10.1145/258734.258880. ISBN 0897918967. S2CID 2341707. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 7월 10일에 확인함. 
  31. Suwajanakorn, Supasorn; Seitz, Steven M.; Kemelmacher-Shlizerman, Ira (July 2017). “Synthesizing Obama: Learning Lip Sync from Audio”. 《ACM Trans. Graph.》 36 (4): 95:1–95:13. doi:10.1145/3072959.3073640. S2CID 207586187. 2020년 5월 19일에 원본 문서에서 보존된 문서. 2023년 7월 10일에 확인함. 
  32. Thies, Justus; Zollhöfer, Michael; Stamminger, Marc; Theobalt, Christian; Nießner, Matthias (June 2016). 〈Face2Face: Real-Time Face Capture and Reenactment of RGB Videos〉. 《2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》. IEEE. 2387–2395쪽. arXiv:2007.14808. doi:10.1109/CVPR.2016.262. ISBN 9781467388511. S2CID 206593693. 
  33. “Deepfakes for dancing: you can now use AI to fake those dance moves you always wanted”. 《The Verge》. 2019년 5월 17일에 원본 문서에서 보존된 문서. 2018년 8월 27일에 확인함. 
  34. Farquhar, Peter (2018년 8월 27일). “An AI program will soon be here to help your deepface dancing – just don't call it deepfake”. 《Business Insider Australia》. 2019년 4월 10일에 원본 문서에서 보존된 문서. 2018년 8월 27일에 확인함. 
  35. Mirsky, Yisroel; Mahler, Tom; Shelef, Ilan; Elovici, Yuval (2019). 《CT-GAN: Malicious Tampering of 3D Medical Imagery using Deep Learning》. 461–478쪽. arXiv:1901.03597. ISBN 978-1-939133-06-9. 2020년 6월 20일에 원본 문서에서 보존된 문서. 2020년 6월 18일에 확인함. 
  36. O'Neill, Patrick Howell (2019년 4월 3일). “Researchers Demonstrate Malware That Can Trick Doctors Into Misdiagnosing Cancer”. 《Gizmodo》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2022년 6월 3일에 확인함. 
  37. Mirsky, Yisroel; Lee, Wenke (2020년 5월 12일). “The Creation and Detection of Deepfakes: A Survey”. 《ACM Computing Surveys》. arXiv:2004.11138. doi:10.1145/3425780. S2CID 216080410. 
  38. Karnouskos, Stamatis (2020). “Artificial Intelligence in Digital Media: The Era of Deepfakes” (PDF). 《IEEE Transactions on Technology and Society》 1 (3): 1. doi:10.1109/TTS.2020.3001312. S2CID 221716206. 2021년 7월 14일에 원본 문서 (PDF)에서 보존된 문서. 2020년 7월 9일에 확인함. 
  39. Cole, Samantha (2018년 1월 24일). “We Are Truly Fucked: Everyone Is Making AI-Generated Fake Porn Now”. 《Vice》. 2019년 9월 7일에 원본 문서에서 보존된 문서. 2019년 5월 4일에 확인함. 
  40. Haysom, Sam (2018년 1월 31일). “People Are Using Face-Swapping Tech to Add Nicolas Cage to Random Movies and What Is 2018”. 《Mashable》. 2019년 7월 24일에 원본 문서에서 보존된 문서. 2019년 4월 4일에 확인함. 
  41. “r/SFWdeepfakes”. 《Reddit》. 2019년 8월 9일에 원본 문서에서 보존된 문서. 2018년 12월 12일에 확인함. 
  42. Hathaway, Jay (2018년 2월 8일). “Here's where 'deepfakes,' the new fake celebrity porn, went after the Reddit ban”. 《The Daily Dot》. 2019년 7월 6일에 원본 문서에서 보존된 문서. 2018년 12월 22일에 확인함. 
  43. “What is a Deepfake and How Are They Made?”. 《Online Tech Tips》. 2019년 5월 23일. 2019년 11월 8일에 원본 문서에서 보존된 문서. 2019년 11월 8일에 확인함. 
  44. Robertson, Adi (2018년 2월 11일). “I'm using AI to face-swap Elon Musk and Jeff Bezos, and I'm really bad at it”. 《The Verge》. 2018년 3월 24일에 원본 문서에서 보존된 문서. 2019년 11월 8일에 확인함. 
  45. “Deepfakes web | The best online faceswap app”. 《Deepfakes web》. 2021년 7월 14일에 원본 문서에서 보존된 문서. 2021년 2월 21일에 확인함. 
  46. “Faceswap is the leading free and Open Source multi-platform Deepfakes software.”. 2019년 10월 15일. 2021년 5월 31일에 원본 문서에서 보존된 문서. 2021년 7월 14일에 확인함 – WordPress 경유. 
  47. “DeepFaceLab is a tool that utilizes machine learning to replace faces in videos. Includes prebuilt ready to work standalone Windows 7,8,10 binary (look readme.md).: iperov/DeepFaceLab”. 2019년 6월 19일. 2019년 5월 9일에 원본 문서에서 보존된 문서. 2019년 3월 6일에 확인함 – GitHub 경유. 
  48. Chandler, Simon. “Why Deepfakes Are A Net Positive For Humanity”. 《Forbes》. 2020년 11월 16일에 원본 문서에서 보존된 문서. 2020년 11월 3일에 확인함. 
  49. Pangburn, D. J. (2019년 9월 21일). “You've been warned: Full body deepfakes are the next step in AI-based human mimicry”. 《Fast Company》. 2019년 11월 8일에 원본 문서에서 보존된 문서. 2019년 11월 8일에 확인함. 
  50. Lyons, Kim (2020년 1월 29일). “FTC says the tech behind audio deepfakes is getting better”. 《The Verge》. 2020년 1월 30일에 원본 문서에서 보존된 문서. 2020년 2월 8일에 확인함. 
  51. “Audio samples from "Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis". 《google.github.io》. 2019년 11월 14일에 원본 문서에서 보존된 문서. 2020년 2월 8일에 확인함. 
  52. Jia, Ye; Zhang, Yu; Weiss, Ron J.; Wang, Quan; Shen, Jonathan; Ren, Fei; Chen, Zhifeng; Nguyen, Patrick; Pang, Ruoming; Moreno, Ignacio Lopez; Wu, Yonghui (2019년 1월 2일). “Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis”. arXiv:1806.04558 [cs.CL]. 
  53. “TUM Visual Computing: Prof. Matthias Nießner”. 《www.niessnerlab.org》. 2020년 2월 21일에 원본 문서에서 보존된 문서. 2020년 2월 8일에 확인함. 
  54. “Full Page Reload”. 《IEEE Spectrum: Technology, Engineering, and Science News》. 2019년 12월 11일. 2020년 6월 26일에 원본 문서에서 보존된 문서. 2020년 2월 8일에 확인함. 
  55. “Contributing Data to Deepfake Detection Research”. 2019년 9월 24일. 2020년 2월 5일에 원본 문서에서 보존된 문서. 2020년 2월 8일에 확인함. 
  56. Thalen, Mikael. “You can now deepfake yourself into a celebrity with just a few clicks”. 《daily dot》. 2020년 4월 6일에 원본 문서에서 보존된 문서. 2020년 4월 3일에 확인함. 
  57. Matthews, Zane (2020년 3월 6일). “Fun or Fear: Deepfake App Puts Celebrity Faces In Your Selfies”. 《Kool1079》. 2020년 3월 24일에 원본 문서에서 보존된 문서. 2020년 3월 6일에 확인함. 
  58. “Kanye West, Kim Kardashian and her dad: Should we make holograms of the dead?”. 《BBC News》. 2020년 10월 31일. 2020년 11월 15일에 원본 문서에서 보존된 문서. 2020년 11월 11일에 확인함. 
  59. “Kanye West Gave Kim Kardashian a Hologram of Her Father for Her Birthday”. 《themodems》. 2020년 10월 30일. 2020년 11월 11일에 원본 문서에서 보존된 문서. 2020년 11월 11일에 확인함. 
  60. “Parkland victim Joaquin Oliver comes back to life in heartbreaking plea to voters”. 《adage.com》. 2020년 10월 2일. 2020년 11월 11일에 원본 문서에서 보존된 문서. 2020년 11월 11일에 확인함. 
  61. Bowenbank, Starr (2022년 9월 14일). “Simon Cowell Duets With Elvis in Metaphysic's Latest Deepfake 'AGT' Performance: Watch”. 《Billboard》. 2022년 9월 15일에 원본 문서에서 보존된 문서. 2022년 11월 8일에 확인함. 
  62. “John Lennon 'One Laptop per Child' Commecial”. 《YouTube》. 2008년 12월 26일. 2023년 3월 9일에 원본 문서에서 보존된 문서. 2023년 3월 9일에 확인함. 
  63. Zucconi, Alan (2018년 3월 14일). “Understanding the Technology Behind DeepFakes”. 《Alan Zucconi》. 2019년 11월 1일에 원본 문서에서 보존된 문서. 2019년 11월 8일에 확인함. 
  64. “What is a Deepfake?”. 《Blog - Synthesys》. 2022년 5월 3일. 2022년 6월 26일에 원본 문서에서 보존된 문서. 2022년 5월 17일에 확인함. 
  65. “These New Tricks Can Outsmart Deepfake Videos—for Now”. 《Wired》. ISSN 1059-1028. 2019년 10월 3일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  66. Kemp, Luke (2019년 7월 8일). “In the age of deepfakes, could virtual actors put humans out of business?”. 《The Guardian》. ISSN 0261-3077. 2019년 10월 20일에 원본 문서에서 보존된 문서. 2019년 10월 20일에 확인함. 
  67. Verma, Pranshu (2023년 7월 21일). “Digital clones made by AI tech could make Hollywood extras obsolete”. 《Washington Post》. 2023년 7월 20일에 원본 문서에서 보존된 문서. 2024년 1월 4일에 확인함. 
  68. “High-Resolution Neural Face Swapping for Visual Effects | Disney Research Studios”. 2020년 11월 27일에 원본 문서에서 보존된 문서. 2020년 10월 7일에 확인함. 
  69. “Disney's deepfake technology could be used in film and TV”. 《Blooloop》. 2020년 7월 21일. 2020년 11월 12일에 원본 문서에서 보존된 문서. 2020년 10월 7일에 확인함. 
  70. Lindley, Jon A. (2020년 7월 2일). “Disney Ventures Into Bringing Back 'Dead Actors' Through Facial Recognition”. 《Tech Times》. 2021년 7월 14일에 원본 문서에서 보존된 문서. 2020년 10월 7일에 확인함. 
  71. Radulovic, Petrana (2018년 10월 17일). “Harrison Ford is the star of Solo: A Star Wars Story thanks to deepfake technology”. 《Polygon》. 2019년 10월 20일에 원본 문서에서 보존된 문서. 2019년 10월 20일에 확인함. 
  72. Winick, Erin. “How acting as Carrie Fisher's puppet made a career for Rogue One's Princess Leia”. 《MIT Technology Review》. 2019년 10월 23일에 원본 문서에서 보존된 문서. 2019년 10월 20일에 확인함. 
  73. “Deepfake Luke Skywalker is another step down a ghoulish CGI path”. 《British GQ》. 2022년 2월 10일. 2022년 5월 22일에 원본 문서에서 보존된 문서. 2022년 6월 3일에 확인함. 
  74. Dazed (2022년 2월 10일). “Will deepfakes rewrite history as we know it?”. 《Dazed》. 2022년 6월 8일에 원본 문서에서 보존된 문서. 2022년 6월 3일에 확인함. 
  75. Schwartzel, Erich (2023년 12월 21일). “Behind the Making of My AI Digital Double”. 《Wall Street Journal》. 2024년 1월 6일에 원본 문서에서 보존된 문서. 2024년 1월 4일에 확인함. 
  76. Coffee, Patrick (2023년 6월 18일). “Celebrities Use AI to Take Control of Their Own Images”. 《Wall Street Journal》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 1월 4일에 확인함. 
  77. Prescott, Katie Prescott (2024년 8월 23일). “The man who creates fake people – like David Beckham speaking nine languages” (영어). 《The Times. 2024년 10월 22일에 확인함. 
  78. “Not Vijay, Here's Who Played the Younger Version of Him in The GOAT” (영어). 《english.tupaki.com/》. 2024년 9월 8일. 2024년 11월 8일에 확인함. 
  79. Katerina Cizek, William Uricchio, and Sarah Wolozin: Collective Wisdom | Massachusetts Institute of Technology [1] 보관됨 4 3월 2020 - 웨이백 머신
  80. “ANSA | Ornella Muti in cortometraggio a Firenze”. 2017년 11월 3일. 2020년 2월 27일에 원본 문서에서 보존된 문서. 2020년 2월 27일에 확인함. 
  81. 'South Park' creators launch new deepfake satire series 'Sassy Justice'. 《NME》. 2020년 10월 27일. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2022년 6월 7일에 확인함. 
  82. Tayler, Kelley M.; Harris, Laurie A. (2021년 6월 8일). Deep Fakes and National Security (보고서). Congressional Research Service. 1쪽. 2022년 6월 14일에 원본 문서에서 보존된 문서. 2021년 7월 19일에 확인함. 
  83. Limberg, Peter (2020년 5월 24일). “Blackmail Inflation”. 《CultState》. 2021년 1월 24일에 원본 문서에서 보존된 문서. 2021년 1월 18일에 확인함. 
  84. “For Kappy”. 《Telegraph》. 2020년 5월 24일. 2021년 1월 24일에 원본 문서에서 보존된 문서. 2021년 1월 18일에 확인함. 
  85. “The AGT Judges Had Priceless Reactions to That Simon Cowell Singing Audition”. 《NBC Insider Official Site》. 2022년 6월 8일. 2022년 8월 29일에 원본 문서에서 보존된 문서. 2022년 8월 29일에 확인함. 
  86. Marr, Bernard. “Can A Metaverse AI Win America's Got Talent? (And What That Means For The Industry)”. 《Forbes》. 2022년 8월 30일에 원본 문서에서 보존된 문서. 2022년 8월 30일에 확인함. 
  87. Morales, Jowi (2022년 6월 10일). “Deepfakes Go Mainstream: How Metaphysic's AGT Entry Will Impact Entertainment”. 《MUO》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2022년 8월 29일에 확인함. 
  88. Carter, Rebecca (2019년 6월 1일). “BGT viewers slam Simon Cowell for 'rude' and 'nasty' remark to contestant”. 《Entertainment Daily》. 2022년 8월 31일에 원본 문서에서 보존된 문서. 2022년 8월 31일에 확인함. 
  89. 《Simon Cowell Sings on Stage?! Metaphysic Will Leave You Speechless | AGT 2022》, 2022년 8월 29일에 원본 문서에서 보존된 문서, 2022년 8월 29일에 확인함 
  90. Segarra, Edward. 'AGT' judges Simon Cowell, Howie Mandel get 'deepfake' treatment by AI act Metaphysic: Watch here”. 《USA TODAY》. 2022년 8월 31일에 원본 문서에서 보존된 문서. 2022년 8월 31일에 확인함. 
  91. Bowenbank, Starr (2022년 9월 14일). “Simon Cowell Duets With Elvis in Metaphysic's Latest Deepfake 'AGT' Performance: Watch”. 《Billboard》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2022년 9월 15일에 확인함. 
  92. Zwiezen, Zack (2021년 1월 18일). “Website Lets You Make GLaDOS Say Whatever You Want”. 《Kotaku》. 2021년 1월 17일에 원본 문서에서 보존된 문서. 2021년 1월 18일에 확인함. 
  93. Ruppert, Liana (2021년 1월 18일). “Make Portal's GLaDOS And Other Beloved Characters Say The Weirdest Things With This App”. 《Game Informer》. 2021년 1월 18일에 원본 문서에서 보존된 문서. 2021년 1월 18일에 확인함. 
  94. Clayton, Natalie (2021년 1월 19일). “Make the cast of TF2 recite old memes with this AI text-to-speech tool”. 《PC Gamer》. 2021년 1월 19일에 원본 문서에서 보존된 문서. 2021년 1월 19일에 확인함. 
  95. Sherman, Maria (2023년 12월 3일). “Kiss say farewell to live touring, become first US band to go virtual and become digital avatars”. 《AP News》. Associated Press. 2024년 1월 1일에 원본 문서에서 보존된 문서. 2024년 1월 4일에 확인함. 
  96. Cerullo, Megan (2024년 1월 9일). “AI-generated ads using Taylor Swift's likeness dupe fans with fake Le Creuset giveaway”. 《CBS News》. 2024년 1월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  97. Westfall, Chris. “AI Deepfakes On The Rise Causing Billions In Fraud Losses” (영어). 《Forbes》. 2024년 12월 1일에 확인함. 
  98. Hsu, Tiffany; Lu, Yiwen (2024년 1월 9일). “No, That's Not Taylor Swift Peddling Le Creuset Cookware”. 《The New York Times》. B1면. 2024년 1월 10일에 확인함. 
  99. Taylor, Derrick Bryson (2023년 10월 2일). “Tom Hanks Warns of Dental Ad Using A.I. Version of Him”. 《The New York Times》. ISSN 0362-4331. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 10월 12일에 확인함. 
  100. Johnson, Kirsten (2023년 12월 11일). “Arizona woman falls victim to deepfake scam using celebrities on social media”. 《ABC 15 Arizona》. 2024년 1월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  101. Kulundu, Mary (2024년 1월 4일). “Deepfake videos of Elon Musk used in get-rich-quick scam”. 《Agence France-Presse》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  102. Gerken, Tom (2023년 10월 4일). “MrBeast and BBC stars used in deepfake scam videos”. 《BBC News》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  103. Esmael, Lisbet (2024년 1월 3일). “PH needs multifaceted approach vs 'deepfake' videos used to scam Pinoys”. 《CNN Philippines》. 2024년 1월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  104. Lim, Kimberly (2023년 12월 29일). “Singapore PM Lee warns of 'very convincing' deepfakes 'spreading disinformation' after fake video of him emerges”. 《South China Morning Post》. 2024년 1월 9일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  105. Taylor, Josh (2023년 11월 30일). “Scammer paid Facebook 7c per view to circulate video of deepfake Jim Chalmers and Gina Rinehart”. 《The Guardian》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  106. Palmer, Joseph Olbrycht (2023년 12월 14일). “Deepfake of Australian treasury, central bank officials used to promote investment scam”. 《Agence France-Presse》. 2024년 1월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  107. Koebler, Jason (2024년 1월 9일). “Deepfaked Celebrity Ads Promoting Medicare Scams Run Rampant on YouTube”. 《404 Media》. 2024년 1월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  108. Rosenblatt, Kalhan (2023년 10월 3일). “MrBeast calls TikTok ad showing an AI version of him a 'scam'. 《NBC News》. 2024년 1월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  109. Koebler, Jason (2024년 1월 25일). “YouTube Deletes 1,000 Videos of Celebrity AI Scam Ads”. 《404 Media》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 2월 2일에 확인함. 
  110. Bucci, Nino (2023년 11월 27일). “Dick Smith criticises Facebook after scammers circulate deepfake video ad”. 《The Guardian》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  111. Lomas, Natasha (2023년 7월 7일). “Martin Lewis warns over 'first' deepfake video scam ad circulating on Facebook”. 《TechCrunch》. 2024년 1월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  112. Lopatto, Elizabeth (2024년 1월 3일). “Fun new deepfake consequence: more convincing crypto scams”. 《The Verge》. 2024년 1월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  113. Spoto, Maia; Poritz, Isaiah (2023년 10월 11일). “MrBeast, Tom Hanks Stung by AI Scams as Law Rushes to Keep Pace”. 《Bloomberg Law》. 2024년 1월 10일에 원본 문서에서 보존된 문서. 2024년 1월 10일에 확인함. 
  114. Damiani, Jesse. “A Voice Deepfake Was Used To Scam A CEO Out Of $243,000”. 《Forbes》. 2019년 9월 14일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  115. “Deepfakes, explained”. 《MIT Sloan》. 2024년 3월 5일. 2024년 3월 5일에 원본 문서에서 보존된 문서. 2024년 3월 6일에 확인함. 
  116. Schwartz, Christopher; Wright, Matthew (2023년 3월 17일). “Voice deepfakes are calling – here's what they are and how to avoid getting scammed”. 《The Conversation》. 2024년 1월 4일에 원본 문서에서 보존된 문서. 2024년 1월 4일에 확인함. 
  117. Somers, Meredith (2020년 7월 21일). “Deepfakes, explained”. 《MIT Sloan》. 2024년 3월 5일에 원본 문서에서 보존된 문서. 2024년 3월 6일에 확인함. 
  118. C, Kim (2020년 8월 22일). “Coffin Dance and More: The Music Memes of 2020 So Far”. 《Music Times》. 2021년 6월 26일에 원본 문서에서 보존된 문서. 2020년 8월 26일에 확인함. 
  119. Sholihyn, Ilyas (2020년 8월 7일). “Someone deepfaked Singapore's politicians to lip-sync that Japanese meme song”. AsiaOne. 2020년 9월 3일에 원본 문서에서 보존된 문서. 2020년 8월 26일에 확인함. 
  120. “Wenn Merkel plötzlich Trumps Gesicht trägt: die gefährliche Manipulation von Bildern und Videos”. az Aargauer Zeitung. 2018년 2월 3일. 2019년 4월 13일에 원본 문서에서 보존된 문서. 2018년 4월 9일에 확인함. 
  121. Gensing, Patrick. “Deepfakes: Auf dem Weg in eine alternative Realität?”. 2018년 10월 11일에 원본 문서에서 보존된 문서. 2018년 4월 9일에 확인함. 
  122. Romano, Aja (2018년 4월 18일). “Jordan Peele's simulated Obama PSA is a double-edged warning against fake news”. 《Vox》. 2019년 6월 11일에 원본 문서에서 보존된 문서. 2018년 9월 10일에 확인함. 
  123. Swenson, Kyle (2019년 1월 11일). “A Seattle TV station aired doctored footage of Trump's Oval Office speech. The employee has been fired.”. 《The Washington Post》. 2019년 4월 15일에 원본 문서에서 보존된 문서. 2019년 1월 11일에 확인함. 
  124. O'Sullivan, Donie (2019년 6월 4일). “Congress to investigate deepfakes as doctored Pelosi video causes stir”. 《CNN》. 2019년 6월 29일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  125. “#TellTheTruthBelgium”. 《Extinction Rebellion Belgium》. 2020년 4월 25일에 원본 문서에서 보존된 문서. 2020년 4월 21일에 확인함. 
  126. Holubowicz, Gerald (2020년 4월 15일). “Extinction Rebellion s'empare des deepfakes” (프랑스어). 《Journalism.design》. 2020년 7월 29일에 원본 문서에서 보존된 문서. 2020년 4월 21일에 확인함. 
  127. Carnahan, Dustin (2020년 9월 16일). “Faked videos shore up false beliefs about Biden's mental health”. 《The Conversation》. 2022년 4월 9일에 원본 문서에서 보존된 문서. 2022년 4월 9일에 확인함. 
  128. Parker, Ashley (2020년 9월 7일). “Trump and allies ramp up efforts to spread disinformation and fake news”. 《The Independent》. 2022년 4월 9일에 확인함. 
  129. Christopher, Nilesh (2020년 2월 18일). “We've Just Seen the First Use of Deepfakes in an Indian Election Campaign”. 《Vice》. 2020년 2월 19일에 원본 문서에서 보존된 문서. 2020년 2월 19일에 확인함. 
  130. “Amabie: the mythical creature making a coronavirus comeback”. 《The Economist》. 2020년 4월 28일. ISSN 0013-0613. 2021년 5월 20일에 원본 문서에서 보존된 문서. 2021년 6월 3일에 확인함. 
  131. Roth, Andrew (2021년 4월 22일). “European MPs targeted by deepfake video calls imitating Russian opposition”. 《The Guardian》. 2022년 3월 29일에 원본 문서에서 보존된 문서. 2022년 3월 29일에 확인함. 
  132. Ivanov, Maxim; Rothrock, Kevin (2021년 4월 22일). “Hello, this is Leonid Volkov* Using deepfake video and posing as Navalny's right-hand man, Russian pranksters fool Latvian politicians and journalists into invitation and TV interview”. 《Meduza》. 2022년 3월 29일에 원본 문서에서 보존된 문서. 2022년 3월 29일에 확인함. 
  133. “Dutch MPs in video conference with deep fake imitation of Navalny's Chief of Staff”. 《nltimes.nl》. 2021년 4월 24일. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2022년 3월 29일에 확인함. 
  134. 'Deepfake' Navalny Aide Targets European Lawmakers”. 《The Moscow Times》. 2021년 4월 23일. 2022년 3월 29일에 원본 문서에서 보존된 문서. 2022년 3월 29일에 확인함. 
  135. Vincent, James (2021년 4월 30일). 'Deepfake' that supposedly fooled European politicians was just a look-alike, say pranksters”. 《The Verge》. 2022년 3월 29일에 원본 문서에서 보존된 문서. 2022년 3월 29일에 확인함. 
  136. Novak, Matt (2023년 5월 8일). “Viral Video Of Kamala Harris Speaking Gibberish Is Actually A Deepfake”. 《Forbes》. 2023년 7월 18일에 원본 문서에서 보존된 문서. 2023년 7월 18일에 확인함. 
  137. “PolitiFact - Kamala Harris wasn't slurring about today, yesterday or tomorrow. This video is altered”. 《Politifact》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 7월 18일에 확인함. 
  138. Shuham, Matt (2023년 6월 8일). “DeSantis Campaign Ad Shows Fake AI Images Of Trump Hugging Fauci”. 《HuffPost》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 6월 8일에 확인함. 
  139. “AI Deepfakes Pose Major Threat to Elections in US and India”. 《The Washington Post》. ISSN 0190-8286. 2024년 5월 20일에 원본 문서에서 보존된 문서. 2024년 10월 22일에 확인함. 
  140. Christopher, Nilesh (March 2024). “Indian Voters Are Being Bombarded With Millions of Deepfakes. Political Candidates Approve”. 《Wired》. 2024년 3월 12일에 원본 문서에서 보존된 문서. 2024년 10월 20일에 확인함. 
  141. “What an Indian Deepfaker Tells Us About Global Election Security”. 《Bloomberg》. 2024년 4월 1일에 원본 문서에서 보존된 문서. 2024년 10월 20일에 확인함. 
  142. Roettgers, Janko (2018년 2월 21일). “Porn Producers Offer to Help Hollywood Take Down Deepfake Videos”. 《Variety》. 2019년 6월 10일에 원본 문서에서 보존된 문서. 2018년 2월 28일에 확인함. 
  143. Dickson, E. J. (2019년 10월 7일). “Deepfake Porn Is Still a Threat, Particularly for K-Pop Stars”. 《Rolling Stone》. 2019년 10월 30일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  144. “The State of Deepfake - Landscape, Threats, and Impact” (PDF). 《Deeptrace》. 2019년 10월 1일. 2020년 8월 9일에 원본 문서 (PDF)에서 보존된 문서. 2020년 7월 7일에 확인함. 
  145. Goggin, Benjamin (2019년 6월 7일). “From porn to 'Game of Thrones': How deepfakes and realistic-looking fake videos hit it big”. 《Business Insider》. 2019년 11월 8일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  146. Lee, Dave (2018년 2월 3일). 'Fake porn' has serious consequences”. 2019년 12월 1일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  147. Cole, Samantha (2018년 6월 19일). “Gfycat's AI Solution for Fighting Deepfakes Isn't Working”. 《Vice》. 2019년 11월 8일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  148. Zoe, Freni (2019년 11월 24일). “Deepfake Porn Is Here To Stay”. 《Medium》. 2019년 12월 10일에 원본 문서에서 보존된 문서. 2019년 12월 10일에 확인함. 
  149. Cole, Samantha; Maiberg, Emanuel; Koebler, Jason (2019년 6월 26일). “This Horrifying App Undresses a Photo of Any Woman with a Single Click”. 《Vice》. 2019년 7월 2일에 원본 문서에서 보존된 문서. 2019년 7월 2일에 확인함. 
  150. Cox, Joseph (2019년 7월 9일). “GitHub Removed Open Source Versions of DeepNude”. Vice Media. 2020년 9월 24일에 원본 문서에서 보존된 문서. 2019년 7월 14일에 확인함. 
  151. “pic.twitter.com/8uJKBQTZ0o”. 2019년 6월 27일. 2021년 4월 6일에 원본 문서에서 보존된 문서. 2019년 8월 3일에 확인함. 
  152. “Hundreds of sexual deepfake ads using Emma Watson's face ran on Facebook and Instagram in the last two days”. 《NBC News》. 2023년 3월 7일. 2024년 2월 29일에 원본 문서에서 보존된 문서. 2024년 3월 8일에 확인함. 
  153. Paris, Britt (October 2021). “Configuring Fakes: Digitized Bodies, the Politics of Evidence, and Agency”. 《Social Media + Society》 7 (4). doi:10.1177/20563051211062919. ISSN 2056-3051. 
  154. Damiani, Jesse. “Chinese Deepfake App Zao Goes Viral, Faces Immediate Criticism Over User Data And Security Policy”. 《Forbes》. 2019년 9월 14일에 원본 문서에서 보존된 문서. 2019년 11월 18일에 확인함. 
  155. “Ahead of Irish and US elections, Facebook announces new measures against 'deepfake' videos”. 《Independent.ie》. 2020년 1월 7일. 2020년 1월 8일에 원본 문서에서 보존된 문서. 2020년 1월 7일에 확인함. 
  156. “How Belgian visual expert Chris Ume masterminded Tom Cruise's deepfakes”. 《The Statesman》. 2021년 3월 6일. 2022년 8월 24일에 원본 문서에서 보존된 문서. 2022년 8월 24일에 확인함. 
  157. Metz, Rachel. “How a deepfake Tom Cruise on TikTok turned into a very real AI company”. 《CNN》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2022년 3월 17일에 확인함. 
  158. Corcoran, Mark; Henry, Matt (2021년 6월 23일). “This is not Tom Cruise. That's what has security experts so worried”. 《ABC News》. 2022년 3월 28일에 원본 문서에서 보존된 문서. 2022년 3월 28일에 확인함. 
  159. “Perfect Deepfake Tech Could Arrive Sooner Than Expected”. 《www.wbur.org》. 2019년 10월 2일. 2019년 10월 30일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  160. Sonnemaker, Tyler. “As social media platforms brace for the incoming wave of deepfakes, Google's former 'fraud czar' predicts the biggest danger is that deepfakes will eventually become boring”. 《Business Insider》. 2021년 4월 14일에 원본 문서에서 보존된 문서. 2021년 4월 14일에 확인함. 
  161. Vaccari, Cristian; Chadwick, Andrew (January 2020). “Deepfakes and Disinformation: Exploring the Impact of Synthetic Political Video on Deception, Uncertainty, and Trust in News”. 《Social Media + Society》 6 (1): 205630512090340. doi:10.1177/2056305120903408. ISSN 2056-3051. S2CID 214265502. 
  162. Pawelec, M (2022). “Deepfakes and Democracy (Theory): How Synthetic Audio-Visual Media for Disinformation and Hate Speech Threaten Core Democratic Functions.”. 《Digital Society: Ethics, Socio-legal and Governance of Digital Technology》 1 (2): 19. doi:10.1007/s44206-022-00010-6. PMC 9453721. PMID 36097613. 
  163. Bateman, Jon (2020). “Summary”. 《Deepfakes and Synthetic Media in the Financial System》: 1–2. 2021년 4월 20일에 원본 문서에서 보존된 문서. 2020년 10월 28일에 확인함. 
  164. Kelion, Leo (September 2020). “Deepfake detection tool unveiled by Microsoft”. 《BBC News》. 2021년 4월 14일에 원본 문서에서 보존된 문서. 2021년 4월 15일에 확인함. 
  165. Cohen, Ariel; Rimon, Inbal; Aflalo, Eran; Permuter, Haim H. (June 2022). “A study on data augmentation in voice anti-spoofing”. 《Speech Communication》 141: 56–67. arXiv:2110.10491. doi:10.1016/j.specom.2022.04.005. S2CID 239050551. 
  166. Manke, Kara (2019년 6월 18일). “Researchers use facial quirks to unmask 'deepfakes'. 《Berkeley News》. 2019년 11월 9일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  167. Farid, Hany (2006년 12월 1일). “Digital Doctoring: How to Tell the Real from the Fake”. 《Significance》 3 (4): 162–166. doi:10.1111/j.1740-9713.2006.00197.x. S2CID 13861938. 
  168. “Join the Deepfake Detection Challenge (DFDC)”. deepfakedetectionchallenge.ai. 2020년 1월 12일에 원본 문서에서 보존된 문서. 2019년 11월 8일에 확인함. 
  169. “Deepfake Detection Challenge Results: An open initiative to advance AI”. 《ai.facebook.com》. 2020년 10월 29일에 원본 문서에서 보존된 문서. 2022년 9월 30일에 확인함. 
  170. Groh, Matthew; Epstein, Ziv; Firestone, Chaz; Picard, Rosalind (2022). “Deepfake detection by human crowds, machines, and machine-informed crowds”. 《Proceedings of the National Academy of Sciences》 119 (1). arXiv:2105.06496. Bibcode:2022PNAS..11910013G. doi:10.1073/pnas.2110013119. PMC 8740705. PMID 34969837. 
  171. Hu, Shu; Li, Yuezun; Lyu, Siwei (2020년 10월 12일). “Exposing GAN-Generated Faces Using Inconsistent Corneal Specular Highlights”. arXiv:2009.11924 [cs.CV]. 
  172. Boháček, M; Farid, H (2022년 11월 29일). “Protecting world leaders against deep fakes using facial, gestural, and vocal mannerisms.”. 《Proceedings of the National Academy of Sciences of the United States of America》 119 (48): e2216035119. Bibcode:2022PNAS..11916035B. doi:10.1073/pnas.2216035119. PMC 9860138. PMID 36417442. 
  173. “Google Scholar”. 《scholar.google.com》. 2022년 4월 30일에 확인함. 
  174. Masi, Iacopo; Killekar, Aditya; Mascarenhas, Royston Marian; Gurudatt, Shenoy Pratik; Abdalmageed, Wael (2020). 《Two-branch recurrent network for isolating deepfakes in videos》. Lecture Notes in Computer Science. 12352. 667–684쪽. arXiv:2008.03412. doi:10.1007/978-3-030-58571-6_39. ISBN 978-3-030-58570-9. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2022년 4월 30일에 확인함. 
  175. “The Blockchain Solution to Our Deepfake Problems”. 《Wired》. ISSN 1059-1028. 2019년 11월 7일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  176. Leetaru, Kalev. “Why Digital Signatures Won't Prevent Deep Fakes But Will Help Repressive Governments”. 《Forbes》. 2021년 4월 14일에 원본 문서에서 보존된 문서. 2021년 2월 17일에 확인함. 
  177. “To Uncover a Deepfake Video Call, Ask the Caller to Turn Sideways”. 《Metaphysic》. 2022년 8월 8일. 2022년 8월 26일에 원본 문서에서 보존된 문서. 2022년 8월 24일에 확인함. 
  178. “Kate Middleton's ring mysteriously vanishes, raises more AI concerns”. MSN. 2024년 3월 25일. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 5월 19일에 확인함. 
  179. Hindustan Times (2024년 4월 5일). 'Kate's cancer admission is fake', Meghan Markle's fan and UCLA director, Johnathan Perkins, floats conspiracy theory”. The Hindustan Times. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 5월 19일에 확인함. 
  180. “AI-generated images of Trump being arrested circulate on social media”. AP News. 2023년 3월 21일. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 10월 10일에 확인함. 
  181. Fagan, Kaylee. “A viral video that appeared to show Obama calling Trump a 'dips---' shows a disturbing new trend called 'deepfakes'. 《Business Insider》. 2020년 9월 22일에 원본 문서에서 보존된 문서. 2020년 11월 3일에 확인함. 
  182. “The rise of the deepfake and the threat to democracy”. 《The Guardian》. 2020년 11월 1일에 원본 문서에서 보존된 문서. 2020년 11월 3일에 확인함. 
  183. “Trump shares deepfake photo of himself praying as AI images of arrest spread online”. 《The Independent》. 2023년 3월 24일. 2023년 5월 28일에 원본 문서에서 보존된 문서. 2023년 6월 16일에 확인함. 
  184. Towers-Clark, Charles. “Mona Lisa And Nancy Pelosi: The Implications Of Deepfakes”. 《Forbes》. 2020년 11월 23일에 원본 문서에서 보존된 문서. 2020년 10월 7일에 확인함. 
  185. “What Is The Difference Between A Deepfake And Shallowfake?”. 2020년 4월 21일. 2022년 6월 26일에 원본 문서에서 보존된 문서. 2021년 12월 5일에 확인함. 
  186. “Gallery: 'Spectre' Launches ( Press Release)”. 《Bill Posters》. 2019년 5월 29일. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 5월 15일에 확인함. 
  187. Cole, Samantha (2019년 6월 11일). “This Deepfake of Mark Zuckerberg Tests Facebook's Fake Video Policies”. 《Vice》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 5월 15일에 확인함. 
  188. “Deepfake Putin is here to warn Americans about their self-inflicted doom”. 《MIT Technology Review》. 2020년 10월 30일에 원본 문서에서 보존된 문서. 2020년 10월 7일에 확인함. 
  189. Sonne, Paul (2023년 6월 5일). “Fake Putin Speech Calling for Martial Law Aired in Russia”. 《The New York Times》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 6월 6일에 확인함. 
  190. Allyn, Bobby (2022년 3월 16일). “Deepfake video of Zelenskyy could be 'tip of the iceberg' in info war, experts warn”. NPR. 2022년 3월 29일에 원본 문서에서 보존된 문서. 2022년 3월 17일에 확인함. 
  191. Satariano, Adam; Mozur, Paul (2023년 2월 7일). “The People Onscreen Are Fake. The Disinformation Is Real.”. 《The New York Times》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 2월 10일에 확인함. 
  192. “Pope Francis in Balenciaga deepfake fools millions: 'Definitely scary'. 《New York Post》. 2023년 3월 28일. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 6월 16일에 확인함. 
  193. Lu, Donna (2023년 3월 31일). “Misinformation, mistakes and the Pope in a puffer: what rapidly evolving AI can – and can't – do”. 《The Guardian》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 6월 16일에 확인함. 
  194. Murphy, Heather Tal (2023년 3월 29일). “The Pope in a Coat Is Not From a Holy Place”. 《Slate》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 6월 16일에 확인함. 
  195. “Deepfake audio of Sir Keir Starmer released on first day of Labour conference”. 《Sky News》. 2024년 5월 29일에 확인함. 
  196. “Woman in deepfake video with Rashmika Mandanna's face breaks silence: I'm deeply disturbed and upset by what is happening”. 《The Times of India》. 2023년 11월 9일. ISSN 0971-8257. 2023년 11월 23일에 원본 문서에서 보존된 문서. 2023년 11월 23일에 확인함. 
  197. Cupin, Bea (2024년 4월 24일). “Malacañang flags deepfake audio of Marcos ordering military attack”. 《Rappler》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 5월 14일에 확인함. 
  198. Flores, Helen (2024년 4월 27일). 'Foreign actor' seen behind President Marcos audio deepfake”. 《The Philippines Star》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 5월 14일에 확인함. 
  199. Argosino, Faith (2024년 5월 14일). “Raps filed vs social media pages for libelous content, Marcos deepfake”. 《Philippine Daily Inquirer》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 5월 14일에 확인함. 
  200. “Face-swapped? Deepfake detector flags alleged Marcos video as 'suspicious'. 《Rappler》. 2024년 7월 23일. 2024년 7월 25일에 확인함. 
  201. “NBI, PNP findings show 'polvoron' video fake”. 《The Philippine Star》. 2024년 7월 24일. 2024년 7월 25일에 확인함. 
  202. Shepardson, David (2024년 5월 23일). “US political consultant indicted over AI-generated Biden robocalls”. 《Reuters》. 
  203. “US political consultant indicted over AI-generated Biden robocalls”. 《AP News》. 2024년 5월 23일. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 6월 8일에 확인함. 
  204. “Help us shape our approach to synthetic and manipulated media”. 《blog.twitter.com》. 2020년 10월 28일에 원본 문서에서 보존된 문서. 2020년 10월 7일에 확인함. 
  205. “TechCrunch”. 《TechCrunch》. 2019년 11월 11일. 2021년 7월 14일에 원본 문서에서 보존된 문서. 2020년 10월 7일에 확인함. 
  206. Five US states push Musk to fix AI chatbot over election misinformation Reuters accessed 19 August 2024.
  207. Noxious images spread after Elon Musk launches AI tool with few guardrails The Washington Post accessed 19 August 2024.
  208. How Elon Musk and X Became the Biggest Purveyors of Online Misinformation Rolling Stone accessed 19 August 2024.
  209. “Deepfake Detection Challenge Results: An open initiative to advance AI”. 《ai.facebook.com》. 2020년 10월 29일에 원본 문서에서 보존된 문서. 2020년 10월 7일에 확인함. 
  210. Paul, Katie (2020년 2월 4일). “Twitter to label deepfakes and other deceptive media”. 《Reuters》. 2020년 10월 10일에 원본 문서에서 보존된 문서. 2020년 10월 7일에 확인함. 
  211. Cole, Samantha (2018년 1월 31일). “AI-Generated Fake Porn Makers Have Been Kicked Off Their Favorite Host”. 《Vice》. 2019년 11월 1일에 원본 문서에서 보존된 문서. 2019년 11월 18일에 확인함. 
  212. Ghoshal, Abhimanyu (2018년 2월 7일). “Twitter, Pornhub and other platforms ban AI-generated celebrity porn”. 《The Next Web》. 2019년 12월 20일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  213. Böhm, Markus (2018년 2월 7일). "Deepfakes": Firmen gehen gegen gefälschte Promi-Pornos vor”. 《Spiegel Online》. 2019년 9월 23일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  214. barbara.wimmer (2018년 2월 8일). “Deepfakes: Reddit löscht Forum für künstlich generierte Fake-Pornos” (독일어). 《futurezone.at》. 2018년 2월 8일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  215. “Deepfakes: Auch Reddit verbannt Fake-Porn” (독일어). 《heise online》. 2018년 2월 8일. 2019년 4월 10일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  216. “Reddit verbannt Deepfake-Pornos - derStandard.de” (오스트리아 독일어). 《DER STANDARD》. 2019년 11월 9일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  217. Robertson, Adi (2018년 2월 7일). “Reddit bans 'deepfakes' AI porn communities”. 《The Verge》. 2019년 9월 24일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  218. Cole, Samantha (2018년 2월 6일). “Twitter Is the Latest Platform to Ban AI-Generated Porn”. 《Vice》. 2019년 11월 1일에 원본 문서에서 보존된 문서. 2019년 11월 8일에 확인함. 
  219. “Twitter bans 'deepfake' AI-generated porn”. 《Engadget》. 2019년 7월 20일. 2019년 12월 15일에 원본 문서에서 보존된 문서. 2019년 11월 28일에 확인함. 
  220. Harrell, Drew. “Fake-porn videos are being weaponized to harass and humiliate women: 'Everybody is a potential target'. 《The Washington Post》. 2019년 1월 2일에 원본 문서에서 보존된 문서. 2019년 1월 1일에 확인함. 
  221. Cole, Samantha (2018년 2월 6일). “Pornhub Is Banning AI-Generated Fake Porn Videos, Says They're Nonconsensual”. 《Vice》. 2019년 11월 1일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  222. Beres, Damon; Gilmer, Marcus (2018년 2월 2일). “A guide to 'deepfakes,' the internet's latest moral crisis”. 《Mashable》. 2019년 12월 9일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  223. “Facebook has promised to leave up a deepfake video of Mark Zuckerberg”. 《MIT Technology Review》. 2019년 10월 16일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  224. Cole, Samantha (2019년 6월 11일). “This Deepfake of Mark Zuckerberg Tests Facebook's Fake Video Policies”. 《Vice》. 2019년 10월 12일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  225. Anderson, Martin (2022). Google Has Banned the Training of Deepfakes in Colab 보관됨 30 5월 2022 - 웨이백 머신, Unite.ai, May 28, 2022
  226. Maiberg, Emanuel (2022). It Takes 2 Clicks to Get From 'Deep Tom Cruise' to Vile Deepfake Porn 보관됨 30 5월 2022 - 웨이백 머신, VICE, May 17, 2022
  227. Sasse, Ben (2018년 12월 21일). “S. 3805–115th Congress (2017-2018): Malicious Deep Fake Prohibition Act of 2018”. 《www.congress.gov》. 2019년 10월 16일에 원본 문서에서 보존된 문서. 2019년 10월 16일에 확인함. 
  228. Clarke, Yvette D. (2019년 6월 28일). “H.R.3230 - 116th Congress (2019-2020): Defending Each and Every Person from False Appearances by Keeping Exploitation Subject to Accountability Act of 2019”. 《www.congress.gov》. 2019년 12월 17일에 원본 문서에서 보존된 문서. 2019년 10월 16일에 확인함. 
  229. 'Deepfake' revenge porn is now illegal in Virginia”. 《TechCrunch》. July 2019. 2021년 7월 14일에 원본 문서에서 보존된 문서. 2019년 10월 16일에 확인함. 
  230. Iacono Brown, Nina (2019년 7월 15일). “Congress Wants to Solve Deepfakes by 2020. That Should Worry Us.”. 《Slate Magazine》. 2019년 10월 16일에 원본 문서에서 보존된 문서. 2019년 10월 16일에 확인함. 
  231. “Bill Text - AB-602 Depiction of individual using digital or electronic technology: sexually explicit material: cause of action.”. 《leginfo.legislature.ca.gov》. 2019년 11월 17일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  232. “Bill Text - AB-730 Elections: deceptive audio or visual media.”. 《leginfo.legislature.ca.gov》. 2019년 10월 31일에 원본 문서에서 보존된 문서. 2019년 11월 9일에 확인함. 
  233. H.R. 5586: DEEPFAKES Accountability Act Govtrack.US accessed 15 August 2024.
  234. H.R. 6943: No AI FRAUD Act Govtrack.US accessed 15 August 2024.
  235. “China seeks to root out fake news and deepfakes with new online content rules”. 《Reuters.com》. Reuters. 2019년 11월 29일. 2019년 12월 17일에 원본 문서에서 보존된 문서. 2019년 12월 17일에 확인함. 
  236. Statt, Nick (2019년 11월 29일). “China makes it a criminal offense to publish deepfakes or fake news without disclosure”. 《The Verge》. 2019년 12월 22일에 원본 문서에서 보존된 문서. 2019년 12월 17일에 확인함. 
  237. China to Regulate Deep Synthesis (Deepfake) Technology Starting 2023 China Briefing accessed 15 August 2024.
  238. China: Provisions on Deep Synthesis Technology Enter into Effect Library of Congress accessed 15 August 2024.
  239. Call for upskirting bill to include 'deepfake' pornography ban 보관됨 21 6월 2018 - 웨이백 머신 The Guardian
  240. Creating sexually explicit deepfakes to become a criminal offence BBC accessed 15 August 2024.
  241. Creating sexually explicit deepfake images to be made offence in UK accessed 15 August 2024.
  242. [2] 보관됨 22 11월 2019 - 웨이백 머신 see page 18
  243. Bogart, Nicole (2019년 9월 10일). “How deepfakes could impact the 2019 Canadian election”. 《Federal Election 2019》. 2020년 1월 27일에 원본 문서에서 보존된 문서. 2020년 1월 28일에 확인함. 
  244. “What Can The Law Do About Deepfake”. 《mcmillan.ca》. 2019년 12월 7일에 원본 문서에서 보존된 문서. 2020년 1월 28일에 확인함. 
  245. An Overview of Canada's Online Harms Act TechPolicy.Press] accessed 15 August 2024.
  246. BILL C-63 House of Commons of Canada accessed 15 August 2024.
  247. Venkatasubbbu, Satish (2023년 6월 27일). “How deepfakes are used to scam You & Me? Current trends on detection using AI & legal regulations worldwide.”. 《cybermithra.in》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2023년 7월 3일에 확인함. 
  248. Elon Musk's X targeted with nine privacy complaints after grabbing EU users’ data for training Grok TechCrunch accessed 19 August 2024.
  249. Romero-Moreno, Felipe (2024년 3월 29일). “Generative AI and deepfakes: a human rights approach to tackling harmful content”. 《International Review of Law, Computers & Technology》 39 (2): 297–326. doi:10.1080/13600869.2024.2324540. hdl:2299/20431. ISSN 1360-0869. 
  250. Hatmaker, Taylor (2018년 5월 1일). “DARPA is funding new tech that can identify manipulated videos and 'deepfakes'. 《TechCrunch》. 2023년 12월 8일에 원본 문서에서 보존된 문서. 2024년 4월 14일에 확인함. 
  251. Hsu, Jeremy (2018년 6월 22일). “Experts Bet on First Deepfakes Political Scandal - IEEE Spectrum”. 《IEEE》. 2024년 2월 22일에 원본 문서에서 보존된 문서. 2024년 4월 14일에 확인함. 
  252. “Media Forensics”. 《www.darpa.mil》. 2020년 10월 29일에 원본 문서에서 보존된 문서. 2020년 10월 7일에 확인함. 
  253. “The US military is funding an effort to catch deepfakes and other AI trickery”. 《MIT Technology Review》. 2020년 11월 1일에 원본 문서에서 보존된 문서. 2020년 10월 7일에 확인함. 
  254. Collins, Connor (2019년 3월 11일). “DARPA Tackles Deepfakes With AI”. 《GovCIO Media & Research》. 2024년 3월 2일에 원본 문서에서 보존된 문서. 2024년 4월 14일에 확인함. 
  255. “DARPA Is Taking On the Deepfake Problem”. 《Nextgov.com》. 2019년 8월 6일. 2020년 10월 28일에 원본 문서에서 보존된 문서. 2020년 10월 7일에 확인함. 
  256. Sybert, Sarah (2021년 9월 16일). “DARPA Launches New Programs to Detect Falsified Media”. 《GovCIO Media & Research》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 4월 14일에 확인함. 
  257. Cooper, Naomi (2024년 3월 15일). “DARPA Launches 2 New Efforts to Boost Defenses Against Manipulated Media”. 2024년 3월 15일에 원본 문서에서 보존된 문서. 2024년 4월 14일에 확인함. 
  258. “Semantic Forensics - Analytic Catalog”. 《semanticforensics.com》. 2024년 4월 18일에 원본 문서에서 보존된 문서. 2024년 4월 14일에 확인함. 
  259. National Academies of Sciences, Engineering, and Medicine (22 6 2023), “Nobel Prize Summit Fuels Initiatives to Combat Misinformation and Disinformation and Build Trust in Science”, 《전미과학공학의학한림원》  위키데이터 Q124711722
  260. “SFE: Wodhams, Jack”. 《sf-encyclopedia.com》. 2025년 1월 6일에 확인함. 
  261. “Picaper”. Internet Speculative Fiction Database. 2020년 7월 29일에 원본 문서에서 보존된 문서. 2019년 7월 9일에 확인함. 
  262. Kerr, Philip (2010). 《A Philosophical Investigation》. National Geographic Books. ISBN 978-0143117537. 
  263. Bernal, Natasha (2019년 10월 8일). “The disturbing truth behind The Capture and real life deepfakes”. 《The Telegraph》. 2019년 10월 14일에 원본 문서에서 보존된 문서. 2019년 10월 24일에 확인함. 
  264. Crawley, Peter (2019년 9월 5일). “The Capture: A BBC thriller of surveillance, distortion and duplicity”. 《The Irish Times》. 2019년 9월 9일에 원본 문서에서 보존된 문서. 2019년 10월 24일에 확인함. 
  265. 《John Travolta is Forrest Gump [DeepFake]》. 2024년 4월 20일에 원본 문서에서 보존된 문서. 2024년 4월 20일에 확인함 – www.youtube.com 경유. 
  266. Novak, Lauren (2023년 11월 24일). “John Travolta Turned Down 'Forrest Gump' & Other Stars Who Chose Not to Play Iconic Characters”. 《Remind》. 2024년 6월 10일에 원본 문서에서 보존된 문서. 2024년 4월 20일에 확인함. 
  267. “ESPN Films Latest 30 for 30 Documentary Al Davis vs. The NFL to Premiere February 4” (보도 자료). ESPN. 2021년 1월 15일. 2021년 2월 6일에 원본 문서에서 보존된 문서. 2021년 2월 5일에 확인함. 
  268. Sprung, Shlomo (2021년 2월 1일). “ESPN Documentary 'Al Davis Vs The NFL' Uses Deepfake Technology To Bring Late Raiders Owner Back To Life”. 《Forbes》. 2021년 4월 14일에 원본 문서에서 보존된 문서. 2021년 2월 4일에 확인함. 
  269. “Hudson and Rex”. 2022년 1월 13일에 원본 문서에서 보존된 문서. 2022년 1월 13일에 확인함. 
  270. Wood, Mikael (2022년 5월 9일). “Watch Kendrick Lamar morph into O.J., Kanye, Kobe, Nipsey Hussle in new video”. 《Los Angeles Times》. 2022년 10월 30일에 원본 문서에서 보존된 문서. 2022년 5월 10일에 확인함. 
  271. 《Aloe Blacc - Wake Me Up (Universal Language Mix)》, 2022년 4월 20일, 2022년 8월 24일에 원본 문서에서 보존된 문서, 2022년 8월 24일에 확인함 
  272. “Watch Aloe Blacc Perform "Wake Me Up" in 3 Languages to Honor Avicii Using Respeecher AI Translation”. 《Voicebot.ai》. 2022년 5월 5일. 2022년 8월 24일에 원본 문서에서 보존된 문서. 2022년 8월 24일에 확인함. 
  273. Lees, Dominic (2023년 1월 27일). “Deep Fake Neighbour Wars: ITV's comedy shows how AI can transform popular culture”. 《The Conversation》. 2023년 6월 24일에 원본 문서에서 보존된 문서. 2023년 7월 3일에 확인함.