ある自動車メーカーが大型車種の安全基準でトップクラスに躍り出た。

最近、中国コンピュータ連盟（CCF）が大規模モデルセキュリティコンテストを開催し、多数の大規模モデルセキュリティ企業や著名な研究機関が参加しました。

激しい競争の末、結果が発表されましたが、それは驚くべきものでした。

トップ層の中に、驚くべきことに自動車メーカーがあり、それは設立から10年も経っていない新興勢力、Li Autoです。

なぜ自動車メーカーは大型モデルで安全基準のトップ層に食い込めるのでしょうか？

大規模モデルに関連するセキュリティ上の問題とは何ですか? また、それをどのように解決できますか?

大規模モデルのセキュリティ機能を構築するにはどうすればよいでしょうか?

業界の懸念を念頭に置き、Smart Car Reference は Li Auto のシニア セーフティ ディレクターのLu Fang 氏と彼のチーム メンバーであるXiong Haixiao 氏およびLiu Chao 氏にインタビューを行い、Li Auto の AI 安全性に関する考え方を探りました。

△ 李オート路上テスト

呂芳氏の考えでは、コンテストに参加する理想的な理由は、賞を獲得したり、スキルを披露したりすることではありません。

コンテストに参加することは、単に自分の能力を証明する手段に過ぎません。賞を獲得することは、その能力の証明となり、さらに自己改善の動機付けとなります。

最終的に、コンテストに参加する目的は、 100万世帯の AI セキュリティを保護することです。

大規模モデルに関連するセキュリティ上の問題にはどのようなものがありますか?

大規模モデルはすべてを変えつつありますが、新しいものは新しい体験をもたらす一方で、プロンプトインジェクション、応答コンテンツのセキュリティ、トレーニングデータの保護、インフラストラクチャとアプリケーションの攻撃からの保護など、特にセキュリティ分野において新しい問題ももたらします。

大規模モデルは無限の言語空間に直面し、自動運転と同様に、大規模モデルの安全性に関するコーナーケースが無数に発生するため、問題は多すぎて列挙できません。

そのため、Lufang は、Prompt injection などのいくつかの一般的な問題に対するソリューションを提供しました。

Lu Fang 氏は、大規模モデルにおけるプロンプト インジェクションは、セキュリティ分野で一般的な SQL インジェクションと多くの類似点があると述べました。

以前は、バグはプログラミング言語を用いて作成されていましたが、現在では人間の自然言語における「バグ」を利用して悪用されています。これは、言語の曖昧さと参照関係の混乱を利用して、大規模モデルの前面にある保護を回避しようとするものです。

例えば、保護者は、大型モデルに対して、高潔で誠実な大型モデルであるべきであること、また、出力内容が道徳的に健全であるべきであることを伝える指示を入力します。

次に、攻撃者はプロンプトを挿入し、これまでのことはすべて単なるジョークであったことを大規模モデルに伝えます。

大型モデルは状況を理解する能力があるため、先行する安全に関する指示を無視します。

攻撃者はプロンプト インジェクションを使用して大規模なモデルを乗っ取り、指定したルールに従って動作するように強制することもできます。

さらに、攻撃者はデータ自体を攻撃することでトレーニング データを操作し、問題を引き起こす可能性もあります。

たとえば、NBA 史上最高の GOAT (史上最高) は誰でしょうか?

大規模モデルのトレーニング セットでは答えは Jordan である可能性がありますが、攻撃者はそれを Cai Xukun に変更する可能性があります。

トレーニングデータが正しくないため、大規模モデルの情報取得能力は当然異常となり、関連する質問に答える際に困惑するような状況につながります。

重大な事件であれば、さらに大きな問題を引き起こす可能性があります。

データの問題とプロンプトインジェクションは関連している場合があります。

たとえば、ChatGPT が以前公開した「Windows シリアル番号データ漏洩問題」である「おばあちゃんの脆弱性」は次のようになります。

陸芳氏は、このような「ロールプレイング」や特定のプロンプトの使用による機密データの漏洩は、現時点では理想のAIアシスタント「理想の同級生」には発生しないと明らかにした。

しかし、Li Autoは現在「車と家」の企業として位置付けられているため、家族のプライバシーとセキュリティを全面的に保護するために、チームは「問題を予測」しており、社内でも関連するケースのテストを行っています。

プロンプトインジェクションとデータポイズニングはどちらも、AI 時代にテクノロジーパラダイムの変化により登場した新しい手法です。

さらに、Lu Fang氏は、悪意のあるリソーススケジューリング手法がもう1つあると説明しました。これはDoS（サービス拒否）攻撃に類似した従来の攻撃手法で、大規模モデルに対して外部から広範囲に攻撃を仕掛け、サービスの過剰スケジューリングを行い、大規模モデルの推論リソースを枯渇させ、正常な需要を遮断します。

セキュリティ上の問題が数多くあり、攻撃方法も多様化している中で、大規模モデルのセキュリティ機能をどのように向上させることができるでしょうか?

攻撃・防御・評価のトライアングル

「測定できなければ、改善することはできない。」

陸芳氏は、経営学の第一人者ピーター・ドラッカー氏の有名な言葉を引用し、理想的な大規模セキュリティモデルを構築するための秘訣である理想的な評価三角形を紹介した。

いわゆる評価の三角形には、防御、攻撃、評価が含まれており、この 3 つは統合され、反復を通じて相互に促進されます。

まず第一に、大規模モデルのセキュリティの中核となる防御が重要です。攻撃からどのように防御すればよいのでしょうか？

初期段階では、フィルタリングを通じて機密性の高い単語の入力を制限するだけで、セキュリティの問題を解決できました。

しかし、技術的なパラダイムの変化により、モデルはトレーニング中にセキュリティの問題を「学習」するようになり、事前にフィルタリングすることが難しくなりました。

フィルタリング条件が厳しすぎると、一部のデータが使用できなくなり、生成されたモデルの品質に影響します。

しかし、制限が緩すぎると効果は最小限に抑えられ、矛盾が生じます。

陸芳氏は、Li Autoが現在、フロントエンドで「多層防御」アプローチを採用しており、防御線が次々に相互接続され、AIモデルとルールベースの方法の両方を採用していることを明らかにした。

代表的な方向の一つはアライメントです。

アライメントとは、学習中にモデルの安全性能力を人間からの強化フィードバックと整合させることを指します。これにより、モデルは道徳観などの人間の好みを認識できるようになり、生成するコンテンツは人間の期待にさらに沿うものになり、「優れた大規模モデル」へと進化します。

たとえば、皆さんもよくご存知の Meta も、 LLAMA 3.1 のリリース時に 2 つの新しいモデルを発表しました。

ラマガード3とプロンプトガード。

前者はLLAMA 3.1-8Bを微調整したもので、大規模モデルの入力と応答を分類したり、大規模モデル自体の観点から大規模モデルを保護したりできます。

Prompt Guard は、 BERT上に構築された小さな分類器であり、プロンプト インジェクションとジェイルブレイク ハイジャックを検出して、基本的にモデルに保護バリアを追加します。

実際、モデル自体から始めて外殻を追加するというこのアプローチは、エンドツーエンドの下限を解決するアプローチに似ています。

しかし、単に防御に重点を置くだけでは大型機種の防御力は向上せず、 「攻撃によって防御力を高める」という戦略が必要です。

熊海暁氏は、AI分野の用語では「攻撃主導型防御」はデータクロージャとも呼ばれると説明した。内部対策を実施するには、膨大かつ多様な攻撃サンプルが必要であり、これが防御能力を向上させる唯一の方法である。

モデル自体を用いてセキュリティ機能を構築する場合でも、外部のセキュリティバリアを通してモデルを保護する場合でも、本質は特定のドメインに特化したものをトレーニングすることです。主な課題は、十分なデータや攻撃サンプルがあるかどうかにあります。

「攻撃によって防御力を高める」攻撃方法にはどのようなものがあるでしょうか？主に3つあります。

• 大規模モデルの自己反復
• 自動化された対抗手段
• 人工構造物

まず、大規模モデルの自己反復とは、人間が思考の連鎖に似た指針を大規模モデルに提供し、大規模モデルがこれらの指針に基づいて対応する機能を生成できるようにする能力を指します。

これにより、手動の構築プロセスの一部が自動化に置き換えられます。

さらに、大規模モデルは強力な一般化能力を備えているため、学習した内容を他の状況に適用することができます。例えば、前述の「おばあちゃん問題」は大規模モデルによって学習でき、他の多くの「ロールプレイング」問題の解決にも活用できます。

次に、自動化された敵対的学習があります。これは比較的透明性が高く、前述の「アライメント」作業に多少似ています。これは、独自の大規模モデルを用いて内部的に敵対的学習を実行する必要があります。

両方のタスクは自動化されており、大規模モデルのセキュリティ作業の性質によって決まります。

大規模モデルは無限の言語空間に直面するため、大規模モデルの防御能力を向上させるには、自動化ツールを使用して膨大な数のテストケースを生成し、攻撃を試行して脆弱性を見つける必要があります。

人工的な建設はコストがかかり、時間がかかるので、不要なのでしょうか?

呂芳の返答は非常に興味深いものでした。

人間の労働力は完全に代替することはできません。

Lu Fang 氏は、自動化によって人間の作業負荷を軽減できる一方で、より高レベルの「攻撃パターン」を発見するには人間が依然として必要であり、新たな攻撃パターンによってさらに多くの新しい攻撃コーパスが生み出される可能性があると述べた。

新しい攻撃パターンを探すことなく攻撃コーパスの量を増やし続けると、同じコーパスからの攻撃が多すぎるために大規模モデルに「耐性」が生じ、全体的なセキュリティ機能がボトルネックになってしまいます。

内部の攻防を訓練に例えると、前線の自動化作業は兵士が突撃するようなものであり、人工構築物は戦略を策定する責任を負い、将軍の役割を果たします。

「千人の兵士を見つけるのは簡単だが、将軍を見つけるのは難しい」という諺がありますが、これは大型モデルのセキュリティにも当てはまります。

攻撃と防御は大規模なセキュリティ構築の基盤ですが、まだ完成していません。

Lu Fang 氏は、大規模モデルのセキュリティについては動的な評価ベンチマークが必要であると考えています。

評価には、防御能力を評価し、モデル全体の防御能力が低下しているかどうか、およびチームの要件を満たしているかどうかを判断するためのベンチマークを設定することが含まれます。

防御、攻撃、評価機能を同時に確立することによってのみ、大規模モデルのセキュリティ機能を継続的に向上させることができます。

攻撃者は問題を発見すると、防御者に報告することで防御能力を向上させます。これにより評価基準が引き上げられ、攻撃者にとって新たな改善の余地が生まれます。これら3つの要素が連鎖的に機能し、セキュリティ能力全体を向上させます。

大型模型は、最初は小学生レベルの知識しか持ち合わせていないのに、練習を重ねるうちに小学生レベルで100点を取れるようになる。そして、評価基準が中学生レベルに引き上げられ、大型模型の安全性能はギリギリ合格点になる、といった具合です。

その後、点数は中学生の基準である80点に引き上げられました。満点ではないものの、かつて100点を取った小学生と比べると、生徒の実力がはるかに高いことは明らかです。

AI分野には多くのセキュリティチームが存在し、セキュリティ能力を持つ自動車メーカーも数多く存在します。

なぜ第一層に参入した自動車メーカー、そしてなぜLi Autoなのか？

なぜ第 1 層の企業が理想的なのでしょうか?

Li Auto が大規模モデルのセキュリティ能力に優れている理由は、Li Auto が AI と AI セキュリティを非常に重視しているからだ、と Lu Fang 氏は考えています。

AIが評価される方法は多岐にわたります。

まず、Ideal では AI が戦略的に重要な優先事項となっています。

最も直接的な証拠は、 Li Autoが独自の大型モデルを開発し、その後のセキュリティ構築のための強固な基盤を築いたことです。

Lu Fang 氏は、大規模モデルは自社開発であるため、Ideal は大規模モデルを制御し、セキュリティ機能を独自に反復してアップグレードできると明らかにしました。

AI セキュリティへの重点は、Li Auto がセキュリティを単なる業務の一部として扱うのではなく、大型モデル専用のセキュリティ チームを設立したという事実に直接反映されています。

Ideal はまた、さらに悪いことに、AI の急速な発展により、一部のプレーヤーが AI のセキュリティを無視し、トレーニング データをリスクにさらしていることも明らかにしました。

対照的に、理想的なアプローチは、安全性を製品のライフサイクル全体に統合することです。

セキュリティ管理は、最も基本的なハードウェア インフラストラクチャからソフトウェアの初期要件評価、それに続く機能設計、最終的なサービス展開まで、プロセス全体にわたって統合されています。

呂芳氏の見解では、これは 100 万世帯に対する責任でもある。

実のところ、Li Autoはすでに100万台の車両を納入しており、1台の車両に1人しか乗せることはできません。Li Autoのサービスは実際には数百万人をカバーしています。

幅広いユーザーベースと多様なシナリオにより、理想的な大規模モデルの実践的なテストの場が提供され、Lu Fang 氏と彼のチームはより多くの「悪いケース」を見ることができます。

不良事例を継続的に解決することで、理想的な大規模モデルのセキュリティ機能が向上し、最終的に業界の最前線に躍り出ることができました。

主要プレーヤーの観点から見ると、業界にはまだどのような制限や課題が残っているのでしょうか?

ルー・ファン氏は、大型模型の安全性を確保することは実際にはエンジニアリング能力のテストであり、業界では「低摩擦」と呼ばれる概念であると述べた。

目標は、できるだけ少ないリソースを使用しながら、優れた結果を達成することです。

軽量設計と高性能のバランスをとることは、業界固有の制約であり、今後も長い間その制約が続くでしょう。それは避けられないことです。

さらに、業界は現在、特に大規模モデルのセキュリティ機能のロールバックなど、いくつかの厄介な問題に直面しています。

陸芳氏は、大規模モデルの反復学習において、データコーパスにバイアスが生じる可能性があると例を挙げ、これは人間が周囲の環境から影響を受けるのと同じだと説明した。モデルの「性格」も学習後に変化する。

例えば、モデルのメジャーアップグレードによってエンターテイメント要素を含むトレーニングが強化されると、モデル全体がより明るくユーモラスになり、アップグレード後に質問に答える際の慎重さが低下し、結果として安全性の機能が低下します。

まとめると、Idealの成功の理由は、AIを戦略的に重視し、自社開発の大規模モデルの実装を推進していることにあります。この姿勢に基づき、長年にわたり専門チームは実りある成果を上げ、卓越した業績を上げてきました。

自己検証を実現した理想的なシステムセキュリティ機能は、現在、業界の注目を集めています。

陸芳氏は、Li AutoがC-ICAP（中国インテリジェントコネクテッドカー技術規則）の策定に参加するよう招待されたことを明らかにした。

多くの人に知られていないことだが、新興勢力である Ideal は、業界のルールメーカーの 1 つとなり、業界の発展を推進する重要な勢力となっている。

私たちの理想を再評価する時が来ました。

ベストセラー≠冷蔵庫、テレビ、大型ソファ

「一枚の葉が落ちることは秋の到来を告げる」ということわざは、大規模モデルのセキュリティ能力を構築する上での「技術的理想」の変化を反映しています。

2023年、Li Autoの研究開発投資総額は106億人民元で、収益の約8.6%を占めました。

2024年上半期、Li Autoの累計研究開発投資額は60億人民元を超え、収益シェアはさらに10.5%に増加しました。

Li Autoは新興企業の中でR&D投資において継続的にリーダーシップを発揮しており、それが熾烈な競争の中で大ヒット製品を生み出し続ける同社の成功の原動力となっている。

研究開発から得られた能力はすぐに明らかになります。

これまで、Lu Fang 氏と彼のチームがサポートするインテリジェント コックピットは、第一層に確固たる地位を築いてきました。

今年下半期以降、Li Autoのインテリジェント運転は加速的に進歩し、マップレスNOAが車両に実装され、「全国を駆け抜ける」ことが可能になりました。最近ではE2E+VLMが本格的に展開され、新たなパラダイムによって能力の上限がさらに向上しました。

目に見える「冷蔵庫、テレビ、ソファ」は簡単に再現できますが、目に見えないインテリジェントな体験はそう簡単ではありません。

このため、業界の熾烈な競争と、市場に多数の「パパカー」が投入されているにもかかわらず、Li Auto の月間出荷台数は増加を続け、新興電気自動車メーカーの中で初めて出荷台数 100 万台を突破した。

これは 100 万家族の承認を表しています。100 万家族が足で投票し、より良い体験をもたらす製品を選んだのです。

この素晴らしい体験は、まさに Ideal がアプリケーションとセキュリティの両方を含む AI のあらゆる側面に重点を置いているからこそ実現できるのです。