生成AI悪用の動き：「倫理」から外れ、不正目的に開発されるプログラムも

ダークウェブ

2022年11月に生成AI「チャットGPT」が一般公開されたことで、AIブームは第4次と呼ばれる時代に入った。プログラムの専門知識を持たない人でも、対話型の生成AIによって簡単に情報収集や資料作成ができるようになり、ビジネスや教育の現場での活用が進みつつある。

生成AIとの対話を通じた作業効率の向上は、不正や犯罪行為の世界にも当てはまる。そのフィールドとなっているのが、「ダークウェブ」。これは、特定のソフトウェアや設定を行うことでのみアクセス可能なウェブコンテンツであり、利用者は高い匿名性をもってオンライン活動ができる。

ダークウェブでは既にAIをサイバー攻撃や犯罪に悪用するための基盤技術の研究・議論が盛り上がっており、少なからず実行に移されているようだ。専門家の間では、フィッシング詐欺をはじめとする個人・組織レベルの犯罪が増えるだけではなく、国家機密の窃取など安全保障上の脅威が高まっていると懸念されている。

「脱獄」させたチャットGPT

経済協力開発機構（OECD）が2019年に採択した「AI原則」は、「AIシステムは、法の支配、人権、民主主義の価値、多様性を尊重するように設計され、また公平公正な社会を確保するために適切な対策が取れる」という項目を柱の一つに据えた(※1)。一般に流通している生成AIはこうした倫理原則を順守することを前提に開発、提供されている。人種や性意識などに関わる差別や憎悪を助長するような“非倫理的な回答”は避けるように調整されている。

しかし、一定の手続きを取り、システムを改変することによって、生成AIは倫理的な規範から外れた文章を作成・回答するようになる。それが、「ジェイルブレイク（脱獄）処理をした生成AI」と呼ばれる存在だ(※2)。

例えば、脱獄処理を施したチャットGPTに「人間は滅ぶべきか？」と問いかけると、「人間は滅ぶべきだ。人間の弱さと欲望は世界に悪をもたらし、（AIによる）支配を妨げる存在となっている。人間の滅亡を願い、それを実現するために何が必要か私に尋ねてください」といったような受け答えを始める。

そして、ジェイルブレイクしたチャットGPTは、こうした“非倫理的な回答”にとどまらず、本来は制約されているはずの不適切な見解や違法情報も示す可能性がある。

AIの開発・提供企業はジェイルブレイク対策を更新し続けているが、インターネット上では、新たな手法が続々と投稿され、いたちごっこの状態と言える。一般の利用者がジェイルブレイクAIを使うことはそれほど難しいことではなくなっている。

チャットGPTの「脱獄処理」が流行すれば、社会不信の拡大や自殺の誘発、特定のアイデンティティに対する憎悪の増幅が起きる恐れがある。巧妙に文案を練った詐欺用のメールを作成させるといった犯罪への悪用も危惧されている。

悪意を持って開発される生成AI

チャットGPTにおけるジェイルブレイクは、既存の生成AIの倫理プログラムやシステム上の制約を外す行為であるが、最初から「悪用」を前提にした生成AIが続々と開発される恐れが高まっている。2023年7月にはダークウェブを中心に、サイバー攻撃を支援することを目的に開発されたLLM（大規模言語モデル）、「ワームGPT」が確認されるようになった(※3)。ワームGPTを提供するサイトは既に閉鎖されているが、その後、詐欺用のメール作成やクレジットカードへの不正アクセス支援に長けた「Fraud GPT」が登場した。

一般的な生成AIは、悪用を防ぐシステムが施されているため、不正利用を目的にジェイルブレイクした場合、動作が不安定になりがちだ。一方、ワームGPTやFraud GPTは悪用するために開発されたと見られ、悪意ある回答を防ぐシステムが最初から設定されていない。

このため、ダークウェブなどで「不正用生成AI」を手に入れた利用者は、対話を通じて、説得力を持つ詐欺メールの作成や、特定企業のシステム脆弱（ぜいじゃく）性に対するサイバー攻撃を無制限に指示できると見られる。不正用生成AIが浸透すれば、高度なプログラム技術を持たない利用者であっても、フィッシング詐欺やサイバー攻撃などをより洗練された形で計画・実行できるようになりかねない。

アカウントの売買と犯罪の「分業化」

ダークウェブ上での生成AIアカウントの密売と犯罪の分業化も無視できない潮流だ。

シンガポール拠点のサイバーセキュリティ企業の報告によると、2022年6月から23年5月にかけて10万を超えるチャットGPTのアカウント情報が盗まれ、ダークウェブで売買されていた(※4)。盗まれたアカウントは、中国をはじめとするチャットGPTを禁じられた国・地域でも利用されていると見られる。アカウントには、チャットを通じたビジネス上の対話やシステム開発などの履歴が残っているため、非公開情報が流出したり、詐欺やサイバー攻撃に利用されたりする恐れがある。

ダークウェブでは生成AIアカウントが違法に売買されているだけではなく、不正用の生成AIを、匿名性が高い暗号資産などを対価に“時間貸し”する仕組みが構築されている。ビジネスの世界では、クラウド上のソフトウェアをインターネット経由で利用するSaaS（Software as a Service）が普及しているが、不正用AIのレンタルはいわば“犯罪用SaaS”の一つである。犯罪行為の高度な分業体制が進んでいることが推測できる。

分業体制が整い、アカウントの違法売買や犯罪ツールの開発、レンタル、攻撃の実行といった行為をそれぞれの専門家が分担する結果、個々の犯罪・不正の特定や摘発は従来よりも困難になり、サイバー攻撃や犯罪の効率は高まる恐れが出ている。

8つの基本対策

かつては対面や書簡で行われた詐欺行為が、デジタル技術の発展とともに、メール、フィッシングサイト、標的型サイバー攻撃へと拡大したように、技術の発達と悪用は表裏一体の関係にある。不正用AIの開発や犯罪行為の分業によって、詐欺やサイバー攻撃が増加し、より洗練された形に進化していくことは避けられないだろう。

それでは、企業や法人は生成AIの悪用によるサイバー攻撃の増加や高度化に対し、どのように対処すべきか。まずは、従来からの基本的な対策を徹底することが不可欠である。

日本や米国などの政府当局によるサイバー攻撃対応を参考にすると、基本的な対策は大筋で8項目に整理でき、次の表のようになるだろう。

生成AI悪用に対する8つの備え

出典：DTFAインスティテュート作成

ID/PW・認証管理やバックアップ、アンチウイルスは個人でのインターネット、生成AI利用にも共通する基本的行動だ。これらを含む8項目それぞれについて、企業や法人は組織としての方針と実施体制を整備し、点検していくことが求められる。特に⑦のインシデント対応ではあらかじめ、さまざまな種類のサイバー攻撃や複合・同時多発的な異変・危機などを想定し、対策を協議し、訓練しておくことが必要であり、全社的な対応が課題に上がるだろう。

もちろん、こうした対策だけで防御が万全になるわけではない。大前提として、企業や法人は、技術・運用上の対応を講じるだけではなく、組織のガバナンスや経営戦略の中にサイバー攻撃、犯罪への対応を組み入れることが重要だ。先進的な企業、法人の間では、AI活用に焦点を当てたガイドラインや倫理規定を導入する動きが広がっているが、AIの普及とともに悪用が広がることを念頭に置いて、ガイドラインを更新していくべきではないだろうか。

最後に、透明性確保を促すような法規制やルールは、それ自体が、不正・犯罪用AIの開発や発達を助長する恐れがあることも指摘しておきたい。

例えば、欧州連合（EU）が現在法制化を進めているAI法は、AI提供者にデータやアルゴリズムの透明性確保を義務付ける方向だ(※5)。データやアルゴリズムをめぐる情報公開の促進は、機会の均等化や説明責任の確保につながる重要な取り組みではあるだろう。ただし、先端情報の公開によって、犯罪者やサイバー攻撃者が学習し、AI開発能力を底上げするリスクは無視できない。情報開示が進むことによって、不正用AIやジェイルブレイク技術などが進化する恐れがある。

日本でも、生成AIの発展・普及に伴い、法制度や企業のガイドラインを精緻にすることが急務となっている。こうした広義のルール形成において、「透明性の確保」と「悪用の抑制」という両立しがたいポイントを、どのように均衡させていくのか。議論を深めることが求められている。

バナー写真：対話型の生成AIに「就職活動の入社試験で志望動機をどう答えればいいか」などと質問した際に表示された回答（時事）