逗阴馆

Artificial Intelligence and Digital Trust | 逗阴馆 Insights

人工知能と
デジタルトラスト

AI とサイバーセキュリティの交わりに関する
最新のインサイト

生成AI: 新たな脅威の発生源と 同時にチャンスも

人工知能(础滨)は、すでに私たちの生活のさまざまな側面に影響を及ぼしています。しかも数十年も前からです。良し悪しはともかく、その状態は今後も続くでしょう。その一方で、AI が強力になり、私たちの日常的な現実に深く入り込むようになるにつれツールとしても脅威としても、組織が AI の可能性を現実的に評価することはとても重要になっています。

Generative AI | 逗阴馆 Insights

概要: AI 対 AI

  • AI は、善良なユーザーと悪意ある攻撃者のどちらにも、高速性と規模の拡大をもたらす

  • ビジネスで机械学习が普及したため、AI は有力なツールになると同時に標的にもなる

  • AI を取り巻く話題性がリスクを曖昧にする恐れがある

  • 新たな胁威の范囲は広大かつ多様

  • AI が生み出す脅威に対抗するために、AI 駆動型の新しいセキュリティアプローチが必要に

AI vs. AI | 逗阴馆 Insights

1952 年

Arthur Samuel 氏が、チェッカーゲームを自ら学習する世界初のコンピュータープログラムを開発。

97%

ビジネスオーナーのうち、ChatGPT がビジネスに有効だと考えている割合。

出典:

75%

消費者のうち、企業での AI の使用を懸念している割合。

出典:

3/4

CSO オンラインが調査した組織のうち、過去 12 カ月間でサイバー攻撃の増加を経験している割合。その大半は生成 AI を使用する攻撃者が増加の原因となっている。

出典:

46%

組織のうち、生成 AI によって攻撃に対する脆弱性が増すと考えている割合。

出典: ?

4070 億ドル(米ドル)

2022 年の 869 億ドルから 2027 年に予測される AI の市場規模。

バズワードの横行

生成 AI 技術がもつ真の意味を予測するうえで問題となるのは、AI を取り巻く大規模で派手な誇大広告の文句です。生成 AI という言葉そのものが、陳腐な決まり文句になりつつあります。IT イベントで会場を満員にするためには、プレゼンテーションのタイトルに「AI」と入れましょう。自社のソフトウェアの机械学习機能に注目を集めたいなら、「AI」と称しましょう。こうした現状は、実際のテクノロジーを曖昧にするうえに、利点と危険性を過剰に表現したり、トピック全体に関して多くの人を麻酔させたりという望ましくない効果をもたらします。

これをさらに悪化されているのが、多くの人、特に技術に疎い人々が AI とは正確に何かを理解していないという事実です。

AI Chip | 逗阴馆 Insights
人工知能 ― 考える機械

簡単に言うと、人工知能(础滨)とは、その言葉の響きどおりのもの、すなわち人間の知能プロセスをシミュレートするコンピューターシステムのことです。?

たとえば、言语処理、音声认识、エキスパートシステム、マシンビジョンなどがあります。?

Machine Learning | 逗阴馆 Insights
机械学习 - 自ら考える機械

データセットによるトレーニングを経て、自动的に学习し适応できるアルゴリズムによって统御されるコンピューターシステムです。

たとえば、コンテンツ推荐アルゴリズム、予测分析、画像认识などがあります。

Deep Learning | 逗阴馆 Insights
深層学習 ― 人間と同じように考える機械

人間の脳と同じようなニューラルネットワークをシミュレートするために、多層のアルゴリズムと計算処理ユニットを使用する机械学习の一種です。?

たとえば、大规模言语モデル(尝尝惭)、翻訳、颜认识に用いられています。

インテリジェント攻撃

コンテンツの真正性

アイデンティティの不正操作

破壊力抜群のフィッシング攻撃

プロンプトインジェクション

机械のハルシネーション

攻撃の高度化

カスタムマルウェア

データの汚染

プライバシーの漏えい

コンテンツの真正性

生成 AI は、オリジナルコンテンツからかなりリアルなコピーを作成する能力をもっています。コンテンツ生成に AI を使用している組織が知的財産リスクを冒す恐れがあるだけでなく、悪意のある攻撃があらゆる種類のデータを盗み出し、そっくりに模倣して、オリジナルの創作物に見せかけたり、それ以外の攻撃を容易に実行したりできる可能性もあります。?

アイデンティティの不正操作

生成 AI は、超リアルな画像や映像を数秒で生成でき、それどころか生成されたライブ映像を改ざんすることもできます。そうなると、各種の重要システムに対する信頼性が損なわれます。顔認識ソフトウェアから、法制度における証拠映像、政治的な虚報に至るまで、事実上あらゆる形態の視覚的アイデンティティに対する信頼が失墜しかねません。?

破壊力抜群のフィッシング攻撃

攻撃者は生成 AI ツールを使って、顔、声、文体をリアルにシミュレートできるほか、企業やブランドのアイデンティティをエミュレートすることもできます。さらにそれを利用すれば、実行性が高く検知の難しいフィッシング攻撃につながる恐れがあります。

プロンプトインジェクション

多くの組織は既製の生成 AI モデルを使用しているので、インスタンスのトレーニングやプロンプトの指定に使う情報は、攻撃者が人気のモデルを狙って改変したインジェクション攻撃にさらされる恐れがあります。厳重な安全対策を讲じたうえで、频繁にそれを更新しない限り、基本モデルに対するエクスプロイトによって、そのモデルを使用しているどの组织も危険にさらされかねません。??

机械のハルシネーション

AI は一般的に、説得力のある音声やテキストを高速で生成できますが、必ずしも正確とは限りません。これは、ユーザー向けの情報提供やサポートコンテンツの生成に AI を利用している組織や、脅威検知に机械学习を利用している組織にとって特に問題となります。異常な結果がコストを大きく増やしかねないからです。?

攻撃の高度化

AI は超人的なスピードで機能するコードを書けるため、かつてないスピードと複雑さを備えた攻撃を拡大できる可能性があります。そのうえ、AI は危殆化したコードベースの脆弱性を検出するために使用される恐れもあり、参入障壁を下げることによって攻撃者の范囲を拡大するかもしれません。??

カスタムマルウェア

利用者の多い LLM には、ユーザーが悪意のあるコードを作成するのを防ぐセーフガードがありますが、攻撃者が巧妙ならエクスプロイトや抜け穴を見つけることもできます。モデルが盗まれたりコピーされたりすれば、そうしたセーフガードを除去できるため、悪意のある攻撃者は、高度にカスタマイズ可能で検出もほとんどされないエクスプロイトを短時間で生成できます。?

データの汚染

攻撃には、必ずしも AI 自体を悪用する必要はありません。代わりに、机械学习モデルのトレーニングに使われるデータを狙い、出力を偽装することもできます。これをさらに活用すれば、犯罪者データベースの DNA 配列を改ざんするなど、モデル自体にエクスプロイトを作成することもできますし、単に標的となった組織に損害を与えるような結果を出したりすることも可能です。??

プライバシーの漏えい

AI が機密データを使ってトレーニングされ、機密データを扱う場合には、一部の大手商用モデルで実際に発生したようなバグによって、あるいは標的型攻撃によって、そのデータが漏えいする可能性があります。?

AI 自体に訊いてみる

私たちは、生成 AI がもたらす上位の脅威を挙げるよう ChatGPT に訊いてみました。返ってきた回答は以下のとおりです。

生成 AI は、イノベーションと創造性のための信じられないほどの潜在的な可能性を提供しますが、サイバーセキュリティの領域で独自の課題と脅威ももたらします。以下のような点を考慮する必要があります。

  1. 高度なフェイクコンテンツの作成
  2. 攻撃の自动化
  3. 従来型のセキュリティ対策の侵害
  4. AI の武器化
  5. プライバシー上の问题
  6. デジタル証拠の改ざん
  7. AI を活用するサイバー攻撃者の出現
ChatGPT Reply | 逗阴馆 Insights

インテリジェントなセキュリティ

AI が攻撃者にとって便利なツールとなるような機能は、サイバーセキュリティ対策を強化する目的に使用できますし、また使用するべきです。そうすれば、組織はより効果的で俊敏なサイバーセキュリティテクノロジーを开発できるうえに、人间が原因になる脆弱性にも対処できるようになります。

Artificial Intelligence and Digital Trust?
検知の高速化と高精度化

AI には、人間の頭脳が見逃してしまうようなパターン認識が可能です。システムと人間の行動に関して详细で包括的なベースラインを作成できれば、机械学习を通じて、組織は特に判別の難しい異常まで特定できるようになります。

Artificial Intelligence and Digital Trust
迅速な评価と适応

他の場所で検出された脅威などの外部情報を分析し、人間より迅速にセキュリティ対策を適応させることで、AI を利用する組織は、わずかな時間で高度な回復力と自己調整型のセキュリティポリシーを構築できます。

Artificial Intelligence and Digital Trust
人為的エラーの削减

サイバーセキュリティ対策で、最も弱いリンク(弱い輪が鎖全体の強度を左右する)になりやすいのが人間です。特定のタスクを自動化し、より正確かつ迅速にそれを実行することで、AI が人為的ミスを減らすので、人の介入が不可欠なタスクにより多くのリソースを割くことができます。

Artificial Intelligence and Digital Trust?
教育指导と効率

組織は、AI ツールを使用して、より現実的なシミュレーションとトレーニングを実施できます。チームは高度なサイバーセキュリティ技術とテクノロジーを速やかに習得できるようになります。また、専門家はより効率的に作業できるようになるため、イノベーションを強化して、新しいサイバーセキュリティツールの開発を加速できます。

Artificial Intelligence and Digital Trust
ネットワークセキュリティ

AI の瞬間的なパターン認識を活用することで、脆弱なサーバーからのトラフィックを迂回させて脅威に自動的に対応し、無数のデバイスをより迅速かつ頻繁にスキャンできます。そのため、攻撃が広がる前に隔離し、機密データの露出を最小限に抑えることができます。?

Artificial Intelligence and Digital Trust
胁威への対応

AI は、各種のシステムや接続に対して即座に行動しつつ、同時に膨大な量のデータを処理できます。そのため、組織はかなり高度な攻撃であろうと、従来の手法で脅威が検出されるよりはるかに手前で、緩和できる可能性があります。

Artificial Intelligence and Digital Trust
管理の自动化

証明书の失効からパッチ管理まで、AI は煩雑な作業の負担を軽減するので、組織は日々のセキュリティ衛生を維持できるようにします。

Artificial Intelligence and Digital Trust
拡张性とスピード

AI は、人間のチームが管理できるよりも桁違いに速いスピードで、かつグローバルな規模でポリシーとソリューションを展開し、更新することができます。?

Artificial Intelligence and Digital Trust
フィッシング、アイデンティティ、知财対策

AI で生成されたコンテンツを認識するように AI をトレーニングすると、悪意のある、誤解を招く、あるいは詐欺的なコンテンツは、ユーザーを欺きそうになるより前に速やかにタグ付けされ、排除されます。そのため、強固なフィッシング対策プログラムが実現するだけでなく、他の形態のなりすまし行為を防止し、オリジナルのコンテンツや知的財産を保護できます。?

関連资料

ウェビナー
耐量子时代への备え
英语
Insights - PQC Image
ブログ
暗号資産を特定して PQC に備える
Preparing for the Quantum World with Crypto-Agility
レポート
2022 Gartner PQC レポート
英语