なんと！オンラインで見たものや行ったことをすべて遡ることができる無料ソフトウェアが登場しました！

簡単に言えば、以前どこかで見たことがあると思われるコンピュータ ファイルについては、関連する検索語を入力するだけで、このソフトウェアを使用して 1 回のクリックで簡単に思い出すことができます。

次のように開きます (はい、中国語バージョンもあります)。

よく考えてみてください。これは、誰もがチップを埋め込まれ、いつでも過去の記憶にアクセスできる未来を描いた『ブラック・ミラー』の「あなたの全歴史」のエピソードに似ていませんか？

さらに興味深いのは、このソフトウェアを発明した友人が、このソフトウェアに「ハリー・ポッターが記憶を抽出して見直すために使った大きな水槽」を意味する「ペンシーブ」という名前を付けたことです。

笑、本当に正確ですよ！実はこのプロジェクトは、以前人気だった「記憶補助ソフト」RewindとMicrosoftのWindows Recall機能からかなり借用したんです。

しかし、これら 2 つは... えーと... Rewind は有料 (基本バージョンは月額 12 ドル) になる予定で、Microsoft はそれを延期しています。

ということで、無料ですぐに使えるPensieveは本当にすごい！

予想通り、更新されたコードはすぐに GitHub のトレンド リストのトップに上がりました。

コンピューター画面上のすべてを記憶して思い出してください。

まず、GitHub ページで Pensieve (旧称 Memos) の公式紹介を見てみましょう。

プライバシーを重視したパッシブレコーディングプロジェクト。画面コンテンツを自動的に録画し、スマートインデックスを構築し、履歴を取得するための便利なウェブインターフェースを提供します。

まだ少し抽象的に聞こえますか?

急がないでください。Rewind と Windows Recall (doge) で思い出の旅に出かけましょう。

まずは、Microsoft待望の機能「 Windows Recall」から始めましょう。この機能は今年5月に初めて提案され、MicrosoftはCopilot + PCの主力機能としてリリースする計画を立てていました。

当時の主なセールスポイントは、あらゆるファイルやウェブ閲覧履歴を自然言語で検索でき、何でも簡単に思い出せるという点でした。

しかし、セキュリティ上の懸念から、この機能のリリースは繰り返し延期されており、まだ開始されていません。

要約すると、マイクロソフトは当初6月18日にリリースする予定でしたが、セキュリティ上の懸念により、予定通りにリリースできませんでした。

マイクロソフトはその後、高度な暗号化とWindows Hello認証を追加することでこれを改良しました。データはVBSセキュアゾーンに保存され、サードパーティのアプリケーションやユーザーはアクセスできません。さらに、スクリーンショットではパスワードやクレジットカード情報などの機密情報が自動的に除外されます。

マイクロソフトは、いくつかの変更を加えた後、10 月末に Windows Recall の新バージョンのテストを開始する予定です。

現在まで、この機能はリリースされておらず、Microsoft は引き続き変更を行っています...

さらに、「メモリアシスタント」のRewind は素晴らしい機能を持っていますが、残念ながらお金がかかります。

2020 年に設立された Rewind は、AI テクノロジーを使用してユーザーの生活のあらゆる側面をキャプチャして整理することに重点を置いています。

その具体的な機能は Windows Recall に似ており、ユーザーが携帯電話やコンピューターで閲覧したすべての情報を記録して呼び出すのに役立ちます。

しかし、単に過去を「思い出す」だけでなく、Rewind はさらに一歩進んだ機能です。

また、GPT-4 と統合することで、これらの「記憶」をより深く操作できるようになり、ユーザーは質問したり、要約を作成したりすることでシステムと対話できるようになります。

Rewind の機能が充実するにつれて、投資家からの支持も高まりました。

今年初めの時点で、Rewindは2回の資金調達ラウンドを完了しており、総額は2,790万ドル、評価額は約3億5,000万ドル（25億3,400万人民元）です。どちらのラウンドにも、OpenAIのCEOであるサム・アルトマン氏とa16zが関与しています。

対照的に、プロジェクトの著者によると、Pensieve の最も特徴的な機能は次のとおりです。

これにより、ユーザーは自分のデータを完全に制御できるようになり、信頼できないデータセンターへのデータの送信を回避できます。

具体的には、Pensieve には次のような特徴があります。

• インストールは簡単です。開始するには、pip 経由で依存関係をインストールするだけです。
• すべてのデータはローカルに保存されるため、完全にローカルな操作と自律的なデータ管理が可能になります。
• 全文検索とベクター検索を可能にします。
• Ollam (LLM のローカル展開をサポートするオープンソース フレームワーク) との統合により、検索機能が強化されます。
• Mac および Windows をサポートします (Linux サポートは現在開発中)。
• あらゆる OpenAI API モデル (OpenAI、Azure OpenAI、vLLM など) と互換性があります。
• ユーザーが言語モデル（中国語と英語を含む）を選択して設定できるようにします。
• プラグインを介して機能を拡張できます。

次のセクションでは、誰もが関心を持ついくつかの問題に焦点を当てます。

まず、どれくらいのストレージが必要でしょうか?

筆者は、月に20営業日を想定すると、生成されるスクリーンショットファイルのサイズは約8GBになると慎重に見積もっています。スクリーンショットは重複排除され、連続したスクリーンショットにほとんど変化がない場合は、1枚のみが保持されます。

SQLite データベースのサイズは、インデックスが作成されたスクリーンショットの数によって異なります。100,000 枚のスクリーンショットをインデックスすると、約2.2 GBのストレージ スペースが占有されます。

2番目は、電力消費とハードウェアデバイスについてです。

Pensieve には、デフォルトで 2 つの計算集約的なタスクが必要です。1) スクリーンショットからテキストを抽出する OCR タスク、2) 意味情報を抽出してベクトル インデックスを構築する埋め込みタスクです。

前者については、著者らは実行に CPU を使用し、さまざまなオペレーティング システムに合わせて最適化して、CPU の使用を最小限に抑えました。

後者については、自分の装備に応じて選択できると著者は考えています。

• NVIDIA GPU デバイスは GPU の使用を優先します。
• Apple デバイスは Metal GPU の使用を優先します。
• 他のデバイスは CPU を使用します。

もちろん、Pensieve はユーザーの日常的な使用に影響を与えないように最適化措置も講じています。

Pensieveは、ユーザーのアクティビティパターンに基づいてインデックス構築の頻度を動的に調整できます。つまり、ユーザーがコンピュータを使用している間は、インデックス構築の優先度を下げてシステムリソースの消費を抑えます。

一方、Pensieveはバッテリー寿命を考慮して設計されています。バッテリーの状態を監視し、バッテリー残量が一定のしきい値を下回ると自動的にリソース消費を削減し、バッテリー寿命を延ばします。

第三に、プライバシーとセキュリティはどのように保証できるでしょうか?

Pensieve の著者は、ユーザーのプライバシーを確​​保するために次の 4 つの対策を提案しました。

1. コードは完全にオープンソースであり、Python コードを理解しやすいため、誰でもレビューしてバックドアやマルウェアがないことを確認できます。

2. ローカライズされたデータストレージ。Pensieve は、すべてのデータをクラウドサーバーにアップロードするのではなく、ユーザーのローカルデバイスに保存します。

3. アンインストールが簡単: Pensieve は簡単なアンインストール プロセスを提供するため、ユーザーはシステムから簡単に削除できます。

4. データ処理は完全にユーザーによって制御されます。ユーザーは記録の開始と停止のタイミング、データの管理方法と照会方法を自由に選択できます。

さらに、スタンドアロン プロジェクトとして、Pensieve では、使用する機械学習モデル (VLM および埋め込みモデルを含む) をユーザーが選択できます。

インストールしてみましょう。

要約すると、Pensieve を使用するには通常、次の手順が含まれます。

• Pensieveをインストールする
• pensieve 構成ファイルと sqlite データベースを初期化します。
• 2 行のコマンドを使用してサービスを開始します。
• ブラウザを開いてウェブインターフェースにアクセスします

ちなみに、Pensieve の作者は、思慮深く「使用ガイド」も提供しており、要約すると次のようになります。

1. 適切な埋め込みモデルを選択する

Pensieve は埋め込みモデルを使用して意味情報を抽出し、ベクトル インデックスを構築するため、適切な埋め込みモデルを選択することが重要です。

ユーザーの好みの言語に基づいて、著者は中国語と英語の両方のモデルを提供しました。

2. 視覚検索にはOllamを使う

デフォルトでは、Pensieveはスクリーンショットからテキストを抽出してインデックスを作成するOCRプラグインのみを有効にします。ただし、この方法ではテキストのない画像の検索パフォーマンスが大幅に制限されます。

この目的のためには、OpenAI API と互換性のあるマルチモーダル画像理解サービスが必要であり、Ollam はまさにそれに最適です。

VLM 機能を有効にする前に、特定のハードウェア要件が適用されることに注意することが重要です。

• 推奨構成: 少なくとも 8 GB の VRAM を搭載した NVIDIA グラフィック カード、または M シリーズ チップを搭載した Mac。
• CPU モードは、重大なシステム ラグを引き起こす可能性があるため、推奨されません。

3. 全文索引

Pensieve はデフォルトではすべてのスクリーンショットをすぐにインデックスしないため、フルテキスト インデックスを有効にするには次のコマンド ラインが必要です。

インストールの詳細については、元のプロジェクト ライブラリを参照してください。