これまでの投稿で、生成 AI には多くの業界や分野にわたって大きな可能性を秘めています。しかし、あらゆる強力な新しいテクノロジーと同様に、生成 AI も新たなセキュリティリスクをもたらします。このブログでは、特にデータとシステムセキュリティの領域に重点を置きながら、新たに登場した生成 AI の脅威についてと、生成 AI ツールを安全に導入するための手順を詳しく見ていきます。
生成 AI はどう違うのか
生成 AI の脅威がどのように変化をもたらすのかを把握するには、まずこの新しいシステムが、過去50年間サプライチェーンシステムの基幹として機能してきた従来のシステムとどう違うのかを考える必要があります。主要な5つの相違点は以下のとおりです。
- 生成 AI のセキュリティツールとプラクティスは、データベース用の既存のテクノロジーと比べてまだ成長過程にあります。SQL インジェクションなどのデータベースのセキュリティ脆弱性は、何十年も注目されてきたので十分に理解されています。開発者はこのような脆弱性について徹底的に訓練されており、堅牢な監査ツールが CI/CD パイプラインに統合されています。ところが、生成 AI は始まったばかりで、脅威モデリングやツールはまだ登場を待たねばなりません。
- 生成 AI は、単にレコードを検索するのではなく、斬新な知見を提供します。データベースは以前に保存したデータを返し、その際に変換や計算を施すこともできますが、生成 AI はそれ自身のトレーニングに基づいて新しいデータを合成します。これは、事務員が記録を取るのではなく、アナリストが知見を生み出す作業に似ています。
- 形式的なプログラミング言語は予測可能で曖昧さが排除されていますが、それとは異なり生成 AI で使用する自然言語にはニュアンスや曖昧さが存在します。データベースでは SQL などの形式言語を利用し、これには正式に了解されたデータアクセス構文があります。特定の SQL ステートメントを、すでに保存されているデータのコンテキストで使用すると、常に同じ結果が得られます。一方、生成 AI ではすべての入力と出力に、ニュアンスや曖昧さを含む自然な「日常」言語を利用します。2人の人間同士の契約交渉と同じように、人と AI の間にも誤解が生じる可能性があります。さらに、生成 AI の出力は非決定的です。つまり、同一の入力であっても、言い回し、文言、または意味がまるで異なる結果が得られる可能性があるのです。
- 厳格な制御機能があるデータベースと異なり、生成 AI にはトレーサビリティと監査機能が欠如している可能性があります。データベースでは、承認されたユーザが保存されたデータを簡単に監査し、出自を突き止めることができます。それに対して生成 AI モデルは、知識をニューラルネットワークに保存し、その形式はほとんどの人には理解できません。さらに、モデルが獲得した「知識」や、モデルのトレーニングデータに由来するバイアスの可能性を監査する堅牢な手法も、現時点では確立されていません。
- 現時点で、生成 AI に組み込まれているデータアクセス制御は、データベースよりも少ない状況です。データベースには、データアクセスを統制する堅牢な認証制御機能が備わっています。しかし、現状では生成 AI にはこうした組み込みの制御機能が欠如しており、認証されたユーザはどのデータにもアクセスできる可能性があります。
従来のシステムと生成 AI の違いを調べることで、新しいセキュリティ脆弱性と必要な軽減策が明らかになります。これらは次の3つの主要領域に分類できます。機密データのセキュリティ確保、悪意のある使用からのセキュリティ確保、AI エージェントとプラグインの適切な統制の3つです。
リスク要因と、生成 AI のセキュリティ確保に必要なものを理解する
企業がソフトウェアシステムに機密データを委ねる場合、こうしたすべての機密情報が不正なアクセス、改変、流出から完全に保護されていることを期待します。従来の脆弱性も依然として懸念対象ですが、生成 AI 特有の性質がさらなるリスクをもたらし、それを防御する必要が生じます。
機密データの保護だけでなく、生成 AI が可用性、拡張性、パフォーマンス、信頼性、障害復旧などのサービスレベル契約 (SLA) を満たすことも重要です。また、AI が下流工程システムの SLA に悪影響を及ぼしてもいけません。こうした脆弱性を理解し、脆弱性を軽減して生成 AI ベースのシステムでセキュリティ上の弱点が生まれないようにすることで、生成 AI の持つすばらしい有望性の実現への道が開かれるのです。
注意すべき重要な脆弱性 (一部)：
- プロンプトインジェクション (Prompt Injection)：巧妙に細工された入力に AI がだまされ、機密データが公開されたり、有害な操作が実行されたりする可能性があります。
- 安全でない出力処理 (Insecure Output Handling)：精査を行わずに盲目的に AI の出力を使用すると、不正なデータアクセスなど、システムエクスプロイトへの扉を開くことになります。
- トレーニングデータのポイズニング (Training Data Poisoning)：改ざんされたトレーニングデータで AI が破損し、危険なバイアスやバックドアが持ち込まれる可能性があります。
- モデルへの DoS 攻撃 (Model Denial of Service)：攻撃者が複雑なリクエスト、サービスの劣化や無効化によって生成 AI を崩壊させる可能性があります。
- 過剰な代理行為 (Excessive Agency)：AI に無制限に自立性を与えると、AI は誤った推論に基づいて有害な決定を下すことが可能になります。
- 安全でないプラグイン設計 (Insecure Plugin Design)：サードパーティの AI コンポーネントから、安全でないデータ処理によって重大な脆弱性が持ち込まれる可能性があります。
- サプライチェーンの侵害 (Supply Chain Compromise)：サードパーティのツールやデータソースがハッキングされた場合、それによって生成 AI アプリケーション内にリスクが生まれる可能性があります。
- 機密データの漏洩 (Sensitive Data Leakage)：トレーニング中に利用した機密の顧客データやビジネスデータを、AI が公開してしまう可能性があります。
幸いなことに、特定の予防措置を講じると複数のタイプの脆弱性を緩和できます。たとえば、プロンプトインジェクションとトレーニングデータのポイズニングに対する保護は、機密情報流出の可能性も低減できます。周到なアクセス制御を実装した堅牢な ID およびアクセスフレームワークは、過剰な代理行為による攻撃を防御するための前提条件になります。そして、コンピューティングの黎明期から実践されてきた従来のセキュリティ対策が、生成 AI の保護手段を構築する基盤になります。
警戒を怠らないセキュリティ体制と徹底的な防御対策を講じることで、生成 AI の計り知れない可能性を実現しながら、システムと機密情報の安全を確保できます。生成 AI の安全確保には、データ、モデルのトレーニングと微調整、インフラ、ID、アクセス制御を含む多層的なアプローチが必要で、中でも重要なのがベンダー評価時の慎重さです。さらに、包括的なガバナンス、厳密なアクセス制御、入出力制御、監視、サンドボックスの実装、綿密な開発・運用が不可欠です。
導入前に生成 AI のセキュリティ状況を
評価する
ソリューションの評価にあたっては、生成 AI を内製ソリューションに組み込む場合でも、生成 AI の組み込まれたソリューションをベンダーから取得する場合でも、適切な質問をして良好なセキュリティプラクティスを確認することが重要です。こうした質問は、会話を誘導して適切な防御手段が実装されているかどうかを判断するのに役立ちます。以下のトピックを検討してみてください。
- サプライチェーンのセキュリティ：必ず、サードパーティの監査、侵入テスト、コードレビューを要求し、導入当初および継続的にサードパーティプロバイダの評価方法を理解します。
- データセキュリティ：個人データや専有ビジネスデータなど、データが機密度に基づいてどのように分類・保護されているかを理解するよう努めます。ユーザの権限はどのように管理されていて、どのような防御策が導入されていますか。
- アクセス制御：最小権限のアクセス制御など、警戒を怠らないセキュリティ体制と多重防御対策を整備すれば、企業は生成 AI の計り知れない可能性を実現しながら、システムと機密情報の安全を確保できます。
- トレーニングパイプラインのセキュリティ：必ず、トレーニングデータのガバナンス、パイプライン、モデル、アルゴリズムの厳密な制御方法を探します。データポイズニングから保護するためにどのような保護手段が取られていますか。
- 入出力のセキュリティ：入力の検証方法や、出力のフィルタ、サニタイズ、承認方法を評価します。
- インフラのセキュリティ：ベンダーはどのくらいの頻度でレジリエンステストを実施しているか。可用性、拡張性、パフォーマンスに関するベンダーの SLA はどのようなものか。
- 監視と対応：ワークフロー、監視、対応について話し合い、その自動化、ログ記録、監査方法への理解を深めます。さらに、監査レコードの安全性も確認します。監査レコードに機密情報や個人情報が含まれる可能性がある場合は、特に注意が必要です。
- コンプライアンス：ベンダーが GDPR や CCPA などの規則を遵守していること、および SOC2、ISO 27001 などの認証を取得していることを確認します。データが収集、保管、使用される場所を把握し、国固有または地域固有の要件を満たしていることを確認します。
生成 AI の有望性
生成 AI は計り知れない可能性をもたらし、毎日のように新たな用途が見出されています。その機能は現時点ですでに深遠ですが、この先さらに大きな可能性を秘めています。しかし、この有望性にはリスクが伴っており、慎重かつ継続的なガバナンスが求められます。チーム間で協働してベンダーを評価することで、組織はこの新たに発生するリスクと将来のイノベーションのバランスを取ることができます。セキュリティによって信頼が確立し、前進が可能になります。ここに示したガイダンスは、組織がこうしたリスクを評価し対策を講じるための出発点です。不断の努力によって、企業は生成 AI を早期に、しかも安全に導入し、現在も今後も生成 AI のメリットを一歩先に実現できるようになります。最も重要なことは、セキュリティチームと AI チームが絶えず協働してイノベーションとガバナンスのバランスを取ることです。
Blue Yonder は生成 AI セキュリティの業界標準である「OWASP Top 10 for Large Language Models」を適用してソリューションの安全を確保しているため、お客様は自信を持って最新の技術革新をフル活用し、ビジネスをより速く、よりスマートに運営することができます。
Blue Yonder がどのようにサプライチェーンマネジメントに革命を起こしているか、こちらからお問い合わせください。
