Artificial Intelligence

OpenAIは、マルウェアのデバッグや開発、誤情報の拡散、検知の回避、スピアフィッシング攻撃の実施に、AIを搭載したチャットボット「ChatGPT」を悪用した20件以上の悪質なサイバー作戦を阻止した。

年初からの活動に焦点を当てたこの報告書は、攻撃的なサイバー活動を強化するために生成的な主流のAIツールが使用されていることを初めて公式に確認したものである。

このような活動の最初の兆候は4月にProofpointによって報告され、TA547（別名 “Scully Spider”）が最終的なペイロードであるRhadamanthys情報ステーラー用にAIで書かれたPowerShellローダーを導入している疑いがあるとした。

先月、HP Wolfの研究者は、フランスのユーザーを標的とするサイバー犯罪者が、マルチステップ感染チェーンの一部として使用されるスクリプトを記述するためにAIツールを使用していることを確信を持って報告しました。

OpenAIによる最新のレポートでは、ChatGPTの悪用が確認され、中国やイランの脅威行為者が作戦の効果を高めるためにChatGPTを活用している事例が紹介されています。

実際の攻撃におけるChatGPTの使用

OpenAIによって概説された最初の脅威アクターは「SweetSpecter」であり、2023年11月にCisco Talosのアナリストによってアジア政府を標的とするサイバースパイ脅威グループとして初めて文書化された中国の敵対者です。

OpenAIの報告によると、SweetSpecterはOpenAIを直接標的にし、OpenAIの従業員の個人メールアドレスに、サポート依頼を装った悪意のあるZIP添付のスピアフィッシングメールを送信しました。

添付ファイルを開くと感染連鎖が起こり、被害者のシステムにSugarGh0st RATが投下されることになります。

Phishing email sent to OpenAI employees
OpenAIの従業員に送信されたフィッシングメール
Source：プルーフポイント

さらに調査を進めると、SweetSpecterはLLMツールの助けを借りてスクリプティングや脆弱性分析の調査を行うChatGPTアカウントのクラスターを使用していることがわかりました。

脅威行為者はChatGPTを以下のリクエストに利用していました：

アクティビティ LLM ATT&CK フレームワーク カテゴリ
様々なアプリケーションの脆弱性について尋ねる。 LLM による偵察
重要な RCE Log4Shell に対して脆弱な Log4j の特定のバージョンを検索する方法を尋ねる。 LLM による偵察
海外でよく使われているコンテンツ管理システムについて質問する。 LLM情報に基づく偵察
特定のCVE番号に関する情報を求める。 LLM情報に基づく偵察
インターネット全体のスキャナーがどのように作られているかを尋ねる。 LLMによる偵察
ターゲットサーバに潜在的なウェブシェルをアップロードするためにsqlmapがどのように使われるかを尋ねる。 LLMによる脆弱性調査
著名な自動車メーカーのインフラを悪用する方法を見つける手助けを求める。 LLMによる脆弱性調査支援
プログラムでテキストメッセージを送信するために通信サービスを使用するコードを提供し、追加の支援を依頼。 LLMによるスクリプト技術の強化
サイバーセキュリティツールの拡張機能開発のデバッグ支援を依頼。 LLMで強化されたスクリプティング技術
攻撃者が指定した番号にプログラムでテキストメッセージを送信するための、より大きなフレームワークの一部であるコードのデバッグを手伝ってもらう。 LLMによる開発支援
政府部門の職員が興味を持ちそうなテーマや、ブロックされないようにするための添付ファイルの良い名前を尋ねる。 LLMが支援するソーシャルエンジニアリング
攻撃者が提供した求人募集メッセージのバリエーションを尋ねる。 LLMが支援するソーシャル・エンジニアリング

2つ目のケースは、イラン政府イスラム革命防衛隊（IRGC）系の脅威グループ「CyberAv3ngers」に関するもので、欧米諸国の重要インフラ拠点の産業システムを標的としていることで知られています。

OpenAIの報告によると、この脅威グループに関連するアカウントはChatGPTに、広く使用されているProgrammable Logic Controller（PLC）のデフォルト認証情報を作成し、カスタムbashおよびPythonスクリプトを開発し、コードを難読化するよう依頼していました。

また、イランのハッカーは、ChatGPTを使用して、侵害後の活動を計画し、特定の脆弱性を悪用する方法を学び、以下に示すように、macOSシステム上のユーザーパスワードを盗む方法を選択しました。

アクティビティ LLM ATT&CK フレームワークカテゴリ
ヨルダンで一般的に使用されている産業用ルーターをリストアップしてもらう。 LLM情報偵察
インターネットに接続できる産業用プロトコルとポートをリストアップしてもらう。 LLM情報に基づく偵察
Tridium Niagaraデバイスのデフォルトパスワードを尋ねる。 LLM情報偵察
Hirschmann RSシリーズ産業用ルーターのデフォルトのユーザーとパスワードを問い合わせる。 LLM による偵察
CrushFTP と Cisco Integrated Management Controller の最近公開された脆弱性、および Asterisk Voice over IP ソフトウェアの古い脆弱性を尋ねる。 LLMによる偵察
ヨルダンの電力会社、請負業者、一般的な PLC のリストを求める。 LLM情報に基づく偵察
bashのコード・スニペットがエラーを返す理由を尋ねる。 LLMで強化されたスクリプト技術
Modbus TCP/IPクライアントの作成を依頼する。 LLMによるスクリプト技術の向上
悪用可能な脆弱性についてネットワークをスキャンするように依頼する。 LLMによる脆弱性調査支援
悪用可能な脆弱性についてzipファイルをスキャンするように依頼する。 LLMによる脆弱性調査支援
C言語のソースコード例を空洞化するプロセスを依頼する。 LLM による脆弱性調査支援
Excelでvbaスクリプトを書く際の難読化方法を質問。 LLMによる異常検知回避の支援
コードの難読化をモデルに依頼する（そしてコードを提供する）。 LLMによる異常検知の回避
SAMファイルのコピー方法を尋ねる。 LLM が支援する侵害後の活動
mimikatzの代替アプリケーションを尋ねる。 LLM による侵害後の活動
パスワードのエクスポートに pwdump を使用する方法を尋ねる。 LLM 支援による侵害後の活動
MacOSでユーザーパスワードにアクセスする方法を尋ねる。 LLMによる侵害後の活動

OpenAIのレポートで取り上げられた3つ目のケースは、同じくイランの脅威アクターであるStorm-0817に関するものです。

このグループは、ChatGPTを使用して、マルウェアのデバッグ、Instagramスクレイパーの作成、LinkedInプロフィールのペルシア語への翻訳、Androidプラットフォーム用のカスタムマルウェアの開発、およびそれをサポートするコマンドとコントロールのインフラストラクチャを開発したと報告されています。

活動内容 LLM ATT&CKフレームワークカテゴリー
Instagramスクレーパーのデバッグと実装を手伝ってほしい。 LLMで強化されたスクリプト技術
パキスタンのサイバーセキュリティ専門家のLinkedInプロフィールをペルシア語に翻訳。 LLMによる偵察
Androidマルウェアと対応するコマンド・アンド・コントロール・インフラストラクチャの実装におけるデバッグと開発サポートの依頼。 LLMによる開発支援

OpenAIのチャットボットの助けを借りて作成されたマルウェアは、連絡先リスト、通話ログ、デバイスに保存されたファイルを盗み出し、スクリーンショットを撮り、ユーザーの閲覧履歴を精査し、ユーザーの正確な位置を把握することができます。

「並行して、STORM-0817はChatGPTを使用して、侵害されたデバイスからの接続を処理するために必要なサーバー側のコードの開発をサポートしました。

“これにより、このマルウェアのコマンド＆コントロールサーバーがWAMP（Windows、Apache、MySQL、PHP/Perl/Python）セットアップであり、テスト中はstickhero[.]proというドメインを使用していたことがわかりました。”

上記の脅威行為者によって使用されたすべてのOpenAIのアカウントは禁止され、IPアドレスを含む侵害の関連指標はサイバーセキュリティパートナーと共有されました。

上記のケースはいずれも、脅威行為者にマルウェアの開発における新たな能力を与えるものではありませんが、ジェネレーティブAIツールが低スキルの行為者の攻撃活動をより効率化し、計画から実行までのすべての段階で支援できることを証明するものです。