自分のアイデンティティが「脅威」となり得る時代がやって来たようだ。

目次

1. 画像生成AI以降の世界──
2. AIによるフェイク事件の多発　反動としての規制
3. 真偽そのものは重要ではない──ディープフェイクポルノに根差す問題
4. AIによる偶発性を、どのように受け止めるべきか
5. AIポルノめぐる各国の動向
6. AI技術の負の側面から自衛する手段はあるのか？

画像生成AI以降の世界──

2023年3月16日にリリースされた画像生成AI「Midjourney V5」。2022年からサービスを開始したMidjourneyの最新版であるV5は、ついに実写と見紛うほどの高クオリティな画像生成が可能になったことで話題を呼んだ。すでにV6のリリースも控えているとされている。

サブスクリプションに登録さえすれば、専用のDiscordサーバーに接続し、スマホ一つで自分のほしい画像がつくれる時代の到来だ。

しかし最新技術の恩恵を受ける一方で、精度の高さが仇となりフェイクニュース画像への転用が問題視される事例が多発している。

V5リリースから約5日後、調査報道機関ベリングキャットの創始者エリオット・ヒギンズ氏は「逮捕されるドナルド・トランプ前アメリカ大統領の画像」をTwitter上に投稿した。

Making pictures of Trump getting arrested while waiting for Trump's arrest. pic.twitter.com/4D2QQfUpLZ

— Eliot Higgins (@EliotHiggins) March 20, 2023

警察から逃走し、裁判を行い、刑務所に連行される…およそ50枚ほどの生成画像によってドナルド・トランプ氏の逮捕劇がコミカルなタッチで表現されている。もちろんフェイク画像だ。

トランプ氏が現在、実際に刑事告発中ということもあり、該当ツイートはネットで大盛り上がりを見せ4万いいねを超えるバズを記録。さらに他ユーザーが真似てつくったトランプ氏のフェイク画像はネットに大量に氾濫することとなった。

事態を重く受け止めたMidjourney運営は、ヒギンズ氏のアカウントの利用停止処分にした上で、サービス上では一時的に「ドナルド・トランプ」や「逮捕」といったワードによる画像生成を禁止とする処置を行うことに。

それから数日後に今度は「ラッパーのようなビッグサイズの白いダウンを着たローマ教皇」のフェイク画像がネットユーザーによって作成され、こちらも100万以上のインプレッション数を記録する広がりを見せた。

さらに2023年5月にはアメリカの防総省（ペンタゴン）付近で、大規模な爆発が起こったとするフェイク画像がSNSで拡散。この影響で、株式市場が一時的に下落するなどの混乱を見せた。

AIによるフェイク事件の多発　反動としての規制

現在、こうしたAIによるフェイク画像の流行は枚挙にいとまがない。その多くは単なるジョーク画像ではあるが、その一方で「高性能なフェイク」を生み出すAI技術は数多くの犯罪や情報工作行為にも転用出来てしまうのが現状だ。

そのため、世界では現在、生成AI規制も進んでいる。

2022年には、人物の顔を入れ替える「ディープフェイク」技術でつくられたウクライナのゼレンスキー大統領が侵攻に対してロシアに降伏を呼びかける映像がSNS上で拡散され、AI技術が戦争の情報工作に使用される現実があわらになった。

また、音声変換技術を使用した詐欺事件も近年増加傾向にある。

2020年にはアラブ首長国連邦（UAE）の銀行で「ディープ・ボイス」と呼ばれる技術を使い、得意先の会社の取締役の声を模倣した詐欺事件が発生。同銀行は結果として40万ドルもの被害を被ることとなった。

この3月には、AI音声変換技術を用いたなりすまし電話詐欺の被害も発生しているとワシントン・ポストは報道している（外部リンク）。

2023年5月には中国・福州市の男性が、AIを活用した詐欺で8500万円の被害を受ける事件が発生している。男性は友人を名乗るビデオ通話を受け、「入札の保証金を振り込んでほしい」との要求に応じたが、実際にはビデオ通話で使用された顔の映像はAIによる合成技術で作成されたものだったという。

こうしたAIを用いた詐欺被害の増加の背景には、技術の簡易化があげられる。かつては高品質なフェイク動画／音声を制作するには、模倣する対象の学習データが大量に必要となるはずだった。しかし技術の進化により、学習対象のデータがほんのわずかでも高性能なフェイクをつくり出すことが可能になったのだ。

例えばマイクロソフトが今年発表した最新の音声合成モデル「VALL-E」では、学習素材となる元の声データはたった3秒間ほどあれば十分だと言われている。現段階において「VALL-E」は一般公開されていないものの、RVCやso-vits-svcといった別の音声変換技術はすでにオープンソースとなり、検索すれば世界中のエンジニアの手によってつくられた驚異的なクオリティの音声変換デモを聴くことができる（ただしこちらは学習用に数十分ほどの音声データが必要）。

また、「Face Swap」（顔面入れ替え）系アプリはジョーク動画の作成用に一時流行になった技術だ。写真一枚からでも、簡単なフェイク動画であればスマホでワンタッチでつくれるようになっている。

「Face Swap」系は一般向けではあるが、SimSwapといった専門のエンジニア向けのPythonで実行できる高精度なディープフェイク技術も年々生まれては改良が繰り返されている。なおGoogleアカウントさえあればPythonの実行環境をブラウザ上で操作できるGoogle Colabは、ディープフェイクによる使用を禁止している。

禁止行為に該当項目が追加されたのは、ゼレンスキー大統領のフェイク動画が拡散されたおよそ翌月のことだった。