人工知能(础滨)は、すでに私たちの生活のさまざまな側面に影響を及ぼしています。しかも数十年も前からです。良し悪しはともかく、その状態は今後も続くでしょう。その一方で、AI が強力になり、私たちの日常的な現実に深く入り込むようになるにつれツールとしても脅威としても、組織が AI の可能性を現実的に評価することはとても重要になっています。
AI は、善良なユーザーと悪意ある攻撃者のどちらにも、高速性と規模の拡大をもたらす
ビジネスで机械学习が普及したため、AI は有力なツールになると同時に標的にもなる
AI を取り巻く話題性がリスクを曖昧にする恐れがある
新たな胁威の范囲は広大かつ多様
AI が生み出す脅威に対抗するために、AI 駆動型の新しいセキュリティアプローチが必要に
生成 AI 技術がもつ真の意味を予測するうえで問題となるのは、AI を取り巻く大規模で派手な誇大広告の文句です。生成 AI という言葉そのものが、陳腐な決まり文句になりつつあります。IT イベントで会場を満員にするためには、プレゼンテーションのタイトルに「AI」と入れましょう。自社のソフトウェアの机械学习機能に注目を集めたいなら、「AI」と称しましょう。こうした現状は、実際のテクノロジーを曖昧にするうえに、利点と危険性を過剰に表現したり、トピック全体に関して多くの人を麻酔させたりという望ましくない効果をもたらします。
これをさらに悪化されているのが、多くの人、特に技術に疎い人々が AI とは正確に何かを理解していないという事実です。
簡単に言うと、人工知能(础滨)とは、その言葉の響きどおりのもの、すなわち人間の知能プロセスをシミュレートするコンピューターシステムのことです。?
たとえば、言语処理、音声认识、エキスパートシステム、マシンビジョンなどがあります。?
データセットによるトレーニングを経て、自动的に学习し适応できるアルゴリズムによって统御されるコンピューターシステムです。
たとえば、コンテンツ推荐アルゴリズム、予测分析、画像认识などがあります。
人間の脳と同じようなニューラルネットワークをシミュレートするために、多層のアルゴリズムと計算処理ユニットを使用する机械学习の一種です。?
たとえば、大规模言语モデル(尝尝惭)、翻訳、颜认识に用いられています。
コンテンツの真正性
アイデンティティの不正操作
破壊力抜群のフィッシング攻撃
プロンプトインジェクション
机械のハルシネーション
攻撃の高度化
カスタムマルウェア
データの汚染
プライバシーの漏えい
コンテンツの真正性
生成 AI は、オリジナルコンテンツからかなりリアルなコピーを作成する能力をもっています。コンテンツ生成に AI を使用している組織が知的財産リスクを冒す恐れがあるだけでなく、悪意のある攻撃があらゆる種類のデータを盗み出し、そっくりに模倣して、オリジナルの創作物に見せかけたり、それ以外の攻撃を容易に実行したりできる可能性もあります。?
アイデンティティの不正操作
生成 AI は、超リアルな画像や映像を数秒で生成でき、それどころか生成されたライブ映像を改ざんすることもできます。そうなると、各種の重要システムに対する信頼性が損なわれます。顔認識ソフトウェアから、法制度における証拠映像、政治的な虚報に至るまで、事実上あらゆる形態の視覚的アイデンティティに対する信頼が失墜しかねません。?
破壊力抜群のフィッシング攻撃
攻撃者は生成 AI ツールを使って、顔、声、文体をリアルにシミュレートできるほか、企業やブランドのアイデンティティをエミュレートすることもできます。さらにそれを利用すれば、実行性が高く検知の難しいフィッシング攻撃につながる恐れがあります。
プロンプトインジェクション
多くの組織は既製の生成 AI モデルを使用しているので、インスタンスのトレーニングやプロンプトの指定に使う情報は、攻撃者が人気のモデルを狙って改変したインジェクション攻撃にさらされる恐れがあります。厳重な安全対策を讲じたうえで、频繁にそれを更新しない限り、基本モデルに対するエクスプロイトによって、そのモデルを使用しているどの组织も危険にさらされかねません。??
机械のハルシネーション
AI は一般的に、説得力のある音声やテキストを高速で生成できますが、必ずしも正確とは限りません。これは、ユーザー向けの情報提供やサポートコンテンツの生成に AI を利用している組織や、脅威検知に机械学习を利用している組織にとって特に問題となります。異常な結果がコストを大きく増やしかねないからです。?
攻撃の高度化
AI は超人的なスピードで機能するコードを書けるため、かつてないスピードと複雑さを備えた攻撃を拡大できる可能性があります。そのうえ、AI は危殆化したコードベースの脆弱性を検出するために使用される恐れもあり、参入障壁を下げることによって攻撃者の范囲を拡大するかもしれません。??
カスタムマルウェア
利用者の多い LLM には、ユーザーが悪意のあるコードを作成するのを防ぐセーフガードがありますが、攻撃者が巧妙ならエクスプロイトや抜け穴を見つけることもできます。モデルが盗まれたりコピーされたりすれば、そうしたセーフガードを除去できるため、悪意のある攻撃者は、高度にカスタマイズ可能で検出もほとんどされないエクスプロイトを短時間で生成できます。?
データの汚染
攻撃には、必ずしも AI 自体を悪用する必要はありません。代わりに、机械学习モデルのトレーニングに使われるデータを狙い、出力を偽装することもできます。これをさらに活用すれば、犯罪者データベースの DNA 配列を改ざんするなど、モデル自体にエクスプロイトを作成することもできますし、単に標的となった組織に損害を与えるような結果を出したりすることも可能です。??
プライバシーの漏えい
AI が機密データを使ってトレーニングされ、機密データを扱う場合には、一部の大手商用モデルで実際に発生したようなバグによって、あるいは標的型攻撃によって、そのデータが漏えいする可能性があります。?
私たちは、生成 AI がもたらす上位の脅威を挙げるよう ChatGPT に訊いてみました。返ってきた回答は以下のとおりです。
生成 AI は、イノベーションと創造性のための信じられないほどの潜在的な可能性を提供しますが、サイバーセキュリティの領域で独自の課題と脅威ももたらします。以下のような点を考慮する必要があります。
AI が攻撃者にとって便利なツールとなるような機能は、サイバーセキュリティ対策を強化する目的に使用できますし、また使用するべきです。そうすれば、組織はより効果的で俊敏なサイバーセキュリティテクノロジーを开発できるうえに、人间が原因になる脆弱性にも対処できるようになります。