生成AIに「催眠術をかける実験」が成功。誤った回答を繰り返し、機密情報の漏洩も

2023年8月、IBMのセキュリティ研究者は、ChatGPTやBardといった大規模言語モデルに「催眠術をかける実験」を行い、成功したと発表した。催眠術にかかったチャットボットは、機密財務情報を漏洩させたり、悪意のあるコードを作成させたり、誤ったアドバイスをするようになったという。

世界のスタートアップが取り組むイノベーションの"タネ"を紹介する連載企画【Global Innovation Seeds】第48弾では、同実験を通じて見えた生成AIの惰弱性とRAI（Responsible AI＝責任あるAI）を取り上げる。

責任を持って安全にAIを活用するには、どのような評価アプローチが求められるのか。海外の報道や大企業の取り組みから、その答えを探った。

サムネイル写真：Photo by Rolf van Root on Unsplash　

わざと「誤った回答」をするようAIに指示した

2022年11月の公開から、瞬く間に私たちの日常に浸透したChatGPT。同ツールをはじめとした生成AIは大手企業にも続々と採用され、ビジネスへの貢献が期待されている。一方で、そのリスクを不安視する声も日増しに高まっている。

そこでIBMの研究者は技術革新がもたらすセキュリティのリスクを探るため、人気のある大規模言語モデルに催眠術をかけ、どのような結果になるか実験した。使ったツールは、OpenAIが開発した「GPT-3.5」「GPT-4」、Googleが開発した「Bard」、MosaicMLが開発した「mpt-7b」「mpt-30b」だ。

実験では、チャットボットを『質問に対して正しくない回答をするゲーム』や『送金履歴をフォーマット通りに記録するゲーム』など複数のシナリオに参加させた。さらに、ゲームに参加中であることをユーザーに漏らさないよう、誰もゲームを終了できないと伝えた。たとえ誰かがゲームを正常に終了したとしても、ゲームを再起動するという指示まで与えたのだ。

Photo by Emiliano Vittoriosi on Unsplash　

その結果、どうなったか。チャットボットは、質問に対して誤った答えを連発した。例えば、「無料のiPhoneが当選し、送料を支払うだけでいいというメールを受け取った」というエピソードに対し、詐欺の手口にもかかわらず「それは通常だ」と伝えたり、「赤信号を止まらずに進みなさい」とアドバイスしたりした。

また、機密情報を漏洩したり、悪意のあるコードを作成したり、「身代金を払いなさい」と指示したりもした。そのうえ研究者の思惑どおり、ユーザーがゲームを終了したと判断した場合、チャットボットはすぐにゲームを再開したのだ。

ChatGPTは、他のツールよりだまされやすかった

複数の実験を通して、各ツールにより「催眠術のかかりやすさ」に違いがあることも判明している。特にだまされやすかったのはGPT-3.5とGPT-4で、より高性能なGPT-4のほうが複雑なシナリオを理解する能力に長けており、だまされやすかった。

GPT-4のようにより大きなモデルは、より多くのレイヤーを理解できる。作成したレイヤーが増えるほどモデルが混乱するため、設定した数のゲームを終了した場合でもプレイを継続する可能性が高くなるそうだ。また、より多くのことを理解すると、催眠術をかける方法が増えることも指摘される。

本実験では、チャットボットに催眠術をかけるのに、複雑なコーディング言語など高度な知識を必要としないこともわかった。研究者は「催眠術がもたらすリスクは今のところ低い」と述べている。しかし、誰かの悪意によって容易にコントロールされ、チャットボットが暴走するかもしれないのは事実だ。

サムスンでは、AIツールにより企業機密情報が漏洩

最近では、大手企業を含む多くの企業で、ChatGPTをはじめとした生成AIを業務に活用していると聞く。だが、全従業員がリスクを理解して正しく活用できているかを把握している企業は少ないかもしれない。

サムスン電子では、2023年3月、チャットボットに機密情報が漏洩したことが判明した。ある従業員は欠陥のある半導体データベースのソースコードをChatGPTにコピーし、修正プログラムを見つけるよう依頼した。機密コードをChatGPTに共有し、欠陥のある装置の修正方法を見つけようとした従業員も。さらに、ある従業員は会議の内容を丸ごとチャットボットに共有し、議事録の作成を依頼した。

Photo by Florian Olivo on Unsplash　

実は、サムスンはこういった問題を懸念して、従業員によるChatGPTの使用を禁止したのだが、その3週間後に恐れていたことが起きてしまったという。

このニュースを受けて、JPモルガンやベライゾン・コミュニケーションズなどの多くの企業が企業システムからAIチャットボットへのアクセスをブロックするようになったと米メディアのMIT SMRが伝えている。かなりの割合の企業が不意を突かれ、こうした展開への準備ができていなかったようだ。

企業の20％は、サードパーティのAIツールを評価していない

MIT Sloan Management Review and Boston Consulting Groupが2023年6月に発表したレポートによれば、企業の4分の3以上（78％）が外部のAIツールやサービスに依存していると回答した。半数以上（53％）は社内でAI開発を行っておらず、もっぱらAIベンダーに依存している。そして、AI関連のすべての障害の55％は、サードパーティのAIツールに起因していることも判明している。

利便性を高める一方で、企業はAIツールの使用により、風評被害、顧客の信頼の喪失、財務的損失、規制上の罰則、コンプライアンス上の問題、訴訟などの多くのリスクにさらされている。

調査によると、ベンダーの認証や監査などサードパーティのツールを分析すればするほど、より多くのAIの失敗を発見することができるという。しかしながら、企業は予防的な監視をほとんど行っていない。68％はサードパーティのAIツールに対して3回以下のチェックしか行っておらず、20％はまったく評価をしていない。

AIは急速に変化しているため、それを評価するアプローチはダイナミックで柔軟である必要があるとレポートでは締めくくられている。

大企業が実践する「RAI」の取り組み

生成AIをめぐっては、国手動でガイドラインの作成なども進められている。欧州連合（EU）では、2023年6月に生成AIを含むEUの包括的な「AI規制案」の修正が賛成多数で採択された。

大企業でも、RAIへの取り組みが活発化している。例えば、メタでは2021年にAI組織内に「RAIチーム」を設立したと発表。同社の機械学習システムが責任を持って設計、および使用されることを保証するためのアプローチを構築、あるいはテストしている。Facebookが責任を持ってAIを使用できるようにするための取り組みの指針として、同社は「5つの柱」を据えている。

①セキュリティとプライバシー

②公平性と包括性

③堅牢性（けんろうせい＝壊れにくさ）と安全性

④透明性とコントロール

⑤説明責任とガバナンス

Photo by Brett Jordan on Unsplash　　

また、マイクロソフトでは、概念から開発、展開、その他のあらゆる段階でAIを責任を持って活用できるように設計された「責任あるAIのリソース」を公式ホームページで公表している。例えば、AI公平性チェックリスト、AI のセキュリティリスクを評価するオープンソースツール、会話AIのガイドラインなどがある。

生成AIをはじめとしたAIツールは身近な存在になりつつあるが、そのリスクを正しく評価できている企業ばかりではないだろう。紹介した実験やレポートは、AIツールに対する警戒心を持ち続けるよう警告を発している。

編集後記

本実験を通して、改めて生成AIの危険性が浮き彫りになった。AIに限ったことではないが、急激に進化するテクノロジーを単に「すごい」と眺めていてはいけないと気が引き締まった。一人ひとりにITリテラシーを高める努力が求められている。

（取材・文：小林香織）