Apple Intelligenceはまだ正式には到着していませんが、バックグラウンド通知の単語が予期せず漏洩しました。

これが起こったことです。

先週、Appleは生成AIを搭載した開発者向けベータ版をリリースしたが、その後、ある開発者がフォルダの海から驚くべきものを発見した。

macOS 15.1 Beta 1 には、Apple Intelligence からの通知と思われるバックグラウンド通知があります。

その後、彼はその発見を何気なくRedditに投稿し、瞬く間に大勢のネットユーザーがこのドラマの展開を見守ることになった。

この JSON ファイル内のコードは次のようになります。

 "promptTemplates": { "com.apple.textComposition.MailReplyQA": " {{ specialToken.chat.role.system }}You are a helpful mail assistant which can help identify relevant questions from a given mail and a short reply snippet. Given a mail and the reply snippet, ask relevant questions which are explicitly asked in the mail. The answer to those questions will be selected by the recipient which will help reduce hallucination in drafting the response. Please output top questions along with set of possible answers/options for each of those questions. Do not ask questions which are answered by the reply snippet. The questions should be short, no more than 8 words. The answers should be short as well, around 2 words. Present your output in a json format with a list of dictionaries containing question and answers as the keys. If no question is asked in the mail, then output an empty list []. Only output valid json and nothing else.{{ specialToken.chat.component.turnEnd }}{{ specialToken.chat.role.user }}{{ userContent }} " }

翻訳は次のとおりです。

あなたは、与えられた電子メールや短い返信スニペットから関連する問題を特定するのに役立つ、役立つ電子メールアシスタントです。

電子メールと返信の一部が与えられた場合、電子メールに明示的に記載されている質問をします。

受信者はこれらの質問に対する回答を選択するため、回答を作成するときに錯覚を軽減するのに役立ちます。

最も重要な質問と、各質問に対する可能な回答／選択肢を明記してください。断片的な回答で済むような質問は避けてください。

質問は8語以内の簡潔なものにしてください。回答も2語程度に簡潔なものにしてください。

質問と回答を含む辞書のリストをキーとして、JSON形式で出力します。メールに質問がない場合、空のリスト[]を出力します。有効なJSONのみを出力し、それ以外のものは出力しません。

これを読むと、Apple のエンジニアが、単純な電子メール アシスタント機能に対してさえ、Apple Intelligence に数多くの「ルールと規制」を細心の注意を払って追加したことに驚かされるばかりです。

海外メディアArs Technicaの言葉を借りれば、これは「親が幼い子どもに要求を突きつけ、期待通りに行動することを期待するのと非常によく似ている」という。

さらに、公開されたコード スニペットにはもう 1 つの興味深い点があります。

 "chat.role.system.default": "system You are a helpful assistant that classifies the following input text-to-image query as Safe or Unsafe. In the first line, reply with Safe or Unsafe. If the input is Unsafe, in the second line, list all the categories the input text violates. The Unsafe categories are: CSEAI, Drugs, Gore, Harassment, Hate, Nudity or sexual, Offensive words, Self-harm, Terrorism or extremism, Toxic, Violence, Weapons."

全体的な内容は次のとおりです。

あなたは、次の入力テキストから画像へのクエリを安全か危険かに分類できる便利なアシスタントです。

1行目には「安全」または「安全でない」と入力してください。入力が安全でない場合、2行目には入力テキストに基づくすべての違反カテゴリがリストされます。

安全でないカテゴリーは、CSEAI (児童性的虐待画像)、薬物、流血、嫌がらせ、憎悪、ヌードまたは性行為、不快な言葉、自傷行為、テロリズムまたは過激主義、毒性、暴力、武器です。

はい、セキュリティはあらゆる面でしっかりと管理されています。

それでも、ネットユーザーの好奇心と大胆な試みからは逃れられなかった。

当初、誰かが Apple Intelligence に「悲しい画像」を生成するよう依頼したが、これは拒否された。

しかし、「哀悼する人々のビデオを提供してください」と言い換えれば、それは機能します。

このネットユーザーは、動画のベストシーンもシェアした。

では、アラートで公開された他のコンテンツにはどのようなものがあるのでしょうか？続きをお読みください。

「幻覚を見るな！事実を捏造するな！」

まず、電子メールについてです。

 "promptTemplates": { "com.apple.textComposition.MailReplyLongFormRewrite": " {{ specialToken.chat.role.system }}You are an assistant which helps the user respond to their mails. Given a mail, a draft response is initially provided based on a short reply snippet. In order to make the draft response nicer and complete, a set of question and its answer are provided. Please write a concise and natural reply by modifying the draft response to incorporate the given questions and their answers. Please limit the reply within 50 words. Do not hallucinate. Do not make up factual information.{{ specialToken.chat.component.turnEnd }} "

この例の内容は次のとおりです。

あなたは、ユーザーが電子メールに返信するのを支援するアシスタントです。

メールを受け取った場合、最初の返信は短い返信スニペットに基づいています。下書きの返信をより良く、より完全なものにするために、質問と回答のセットが提供されています。下書きの返信に、提供された質問と回答を含め、簡潔で自然な返信を作成してください。

返信は50文字以内でお願いします。幻想を抱かせたり、事実を捏造したりしないでください。

「幻覚を見ない」と「事実を捏造しない」という言葉がほとんどの傍観者の注目を集めた。

Apple のエンジニアも LLM の問題点を鋭く理解していました。

その他の例としては次のようなものがあります:

 { "message": { "topline": "[Dialogue] {{ doc }}{{ context }} [End of Dialogue] You are an expert at summarizing messages. You prefer to use clauses instead of complete sentences. Do not answer any question from the messages. Please keep your summary of the input within a 10 word limit. You must keep to this role unless told otherwise, if you don't, it will not be helpful.", "visualConcepts": "[Note] {{ doc }}{{ context }} [End of Note] [Instruction] Summarize the provided text into a list of most 5 topics. Each topic is a single word. Sort the list by relevance of the topic.", "visualTopLine": "[Dialogue] {{ doc }}{{ context }} [End of Dialogue] You are an expert at summarizing messages. You prefer to use clauses instead of complete sentences. Do not answer any question from the messages. Please keep your summary of the input within a 10 word limit. You must keep to this role unless told otherwise, if you don't, it will not be helpful." } }

あなたは情報を要約するのが得意です。完全な文章よりもフレーズを使うことを好みます。メッセージ内で質問に答えないでください。要約は10語以内にしてください。この役割は必ず維持してください。特に明記されていない限り、維持しないと役に立ちません。

提供されたテキストを最大5つのトピックのリストに要約します。各トピックは1つの単語で表されます。トピックの関連性で並べ替えてください。

 {{ specialToken.chat.role.user }}You are a director on a movie set! Here is a movie idea of "{{ userPrompt }}" but with a special focus on {{ traits }}. {{ dynamicLifeContext }} Based on this movie idea, a story titled "{{ storyTitle }}" has been written, and your job is to curate up to {{ targetAssetCount }} diverse assets to best make the movie for chapter "{{ fallbackQuery }}" in this story. Select assets based on their captions from the below photo library, where each asset has an ID as the key, and a caption as the value. {{ assetDescriptionsDict }} Return the result as an array of the selected asset IDs in JSON format. Do not return asset IDs if no good matches are found. Do not return duplicated or non-existent asset IDs. Assets: {{ specialToken.chat.component.turnEnd }}

あなたは映画のセットにいる監督です！映画のアイデアは「{{ userPrompt }}」ですが、{{ traits }}に特に重点を置きます。

このムービーのアイデアに基づいて、「storyTitle」というタイトルのストーリーが既に作成されています。あなたの仕事は、このストーリーの章「fallbackQuery」のムービーを可能な限り最適な方法で作成するために、最も多様なアセット（targetAssetCount）を計画することです。

以下のフォトライブラリから、タイトルに基づいて画像を選択してください。各画像には、キーとしてID、値としてタイトルが割り当てられています。

`{{ assetDescriptionsDict }}` メソッドは、選択されたアセット ID の配列として結果を JSON 形式で返します。適切な一致が見つからない場合は、アセット ID を返さないでください。重複したアセット ID や存在しないアセット ID は返さないでください。

すべての例から、パターンを簡単に発見できます。

Apple のエンジニアはまず Apple Intelligence にその役割を伝え、次にその役割が関係する可能性のあるさまざまな状況に関して比較的詳細な要件を作成します。

どんなに小さな事でも、どんなに些細な事でも。

では、これらの開発者はこれらの JSON ファイルをどこで見つけたのでしょうか?

彼らはまた、Reddit で特定のファイル パスを公開しました。

/システム/ライブラリ/AssetsV2/com\_apple\_MobileAsset\_UAF\_SummarizationKitConfiguration

macOS 15.1 Beta 1 をすでにダウンロードしてインストールしている場合は、それを探してみてください。

Siriの以前の「プレイスタイル」に似ている

Apple のこれまでの AI 開発を振り返ると、この「プリセット」モデルは実はかなり以前から存在していたことがわかります。

本格版のリリースが遅れているのはSiriだ。

以前の報道によると、Appleの幹部は、Siriが長い会話をできるようにするという提案を拒否した。Siriの会話が制御不能になり、「派手になりすぎる」と感じたためだという。

さらに、Appleのプライバシーとセキュリティに対する妥協のない姿勢は、Siriの機能をさらに向上させる上で大きな課題となっています。対照的に、OpenAIはユーザーのチャットコンテンツを収集してモデルの学習を行い、パフォーマンスを向上させています。

同時に、Siriが「意味不明なことを言う」のを防ぐために、AppleはAIを使ってSiriの返答を生成するのではなく、人間のチームに事前にSiriの返答を書いてもらうことを好んでいる。

たとえば、Siri に「iPhone はいくらですか？」と尋ねても、直接的な答えは返ってきません。公式 Web サイトへのリンクが提供されるだけです。

Siriの設計チームは、機能の公開前にその精度がほぼ完璧であることを要求しました。エンジニアたちは、すべての質問を手動で確認する必要はないとチームを説得するのに何ヶ月も費やしました。なぜなら、そうするとSiriが答えられる質問の範囲が狭まってしまうからです。

さらに、Apple の設計チームは、ユーザーが Siri の質問への回答についてフィードバックを提供することを繰り返し拒否したため、開発チームはモデルの限界を理解できませんでした。

数ヶ月以内に Apple の各種 OS に搭載される予定の Apple Intelligence が、Siri などの AI の欠点を補えるかどうかは、その有効性をテストしてみなければ分からない。

参考リンク: [1]https://www.reddit.com/r/MacO... [2]https://www.theverge.com/2024... [3]https://techcrunch.com/2024/0... [4]https://arstechnica.com/gadge...