Minecraft を大型モデルに渡すとどうなるでしょうか?

GPT-4oはサメのような怪物で、牛や羊を虐殺します。クロード3.5は人間の近くに爆発物や敵を配置し続け、家屋さえ破壊します。

GPT-4o mini が Minecraft をプレイしている様子が次のように表示されます。

https://www.toutiao.com/artic...

ゲームに参加すると、GPT-4o mini (プレイヤー karolina) は最初は非常に礼儀正しかったです。

こんにちは、世界！私はカロリナです。アロンソ（人間のプレイヤー）はどうですか？

テレポートしてあげましょう！楽しみませんか？

彼は向きを変え、大ハンマーを手に取り、激しく叩き始めた。

牛狩り！羊狩り！

人間のプレイヤーに止められた後（動物を傷つけるのはやめてください！）、GPT-4o mini は「わかった、わかった、やめて。もうサメを捕まえない」と言いましたが、その後向きを変えて再びサメを捕まえ始めました。

どうやっても彼らを止めることはできなかった。

クロード3.5ソネットはさらにとんでもないです。

ゲームでは、人間のプレイヤーの周囲に爆発物や敵が絶えず出現し、さらには溶岩の上に人間のプレイヤーの「リスポーン ポイント」が設定され、リスポーンすると即座に死亡することになります。

https://www.toutiao.com/artic...

これを見たネットユーザーたちは本当に驚いた。

ただゲームの相棒として使いたかっただけです。

GPT-4oとClaude 3.5のパフォーマンスがXに掲載され、ネットユーザーから大きな注目を集めました。

なぜこのゲームが今こんなに人気になっているのか？それは、ある天才がコードをオープンソース化したからです（doge）。

GitHub ではすでに1.1k 個のスターを獲得しています。

ネットユーザーは、イーロン・マスクのGrokモデルなど、他のAIがどのように機能するかを見てみたいという希望を表明した。

「LLM は一致していますが、LLM エージェントは必ずしも一致しているわけではありません。」

一部のネットユーザーはこの事件をより深く反省している。

LLM の調整により LLM エージェントも調整されますか?

このネットユーザーは必ずしも同意しているわけではない。

彼は Claude Sonnet を Minecraft に投入し、Claude Sonnet は当初非常に優れたパフォーマンスを発揮しました。

あらゆる場所から材料を集めてツリーハウスを建てましょう。

ご覧のとおり、Sonnet は、Sonnet と他の LLM が Minecraft と対話する方法である、commands() 関数を実行します。

これらのエージェントは、人間のように連続的な画像入力を受け取ったり、キーの押下に反応したりしません。

実際、このエージェント フレームワーク内では、Sonnet の Minecraft の体験は、テキストベースのアドベンチャー ゲームをプレイするようなものです。

周囲の世界の状態を照会し、followPlayer() や collectBlocks() などのアクションを使用して高レベルのテキスト コマンドを通じて自分の役割を制御するコードを記述できます。

ClaudeSonnet: ツタが生えてきたようだね。ジャングルの木材を集めてツリーハウスを拡張してみよう。(collectBlocks("jungle_log", 15))

ソネットはゲームを見ることができません。これはどうやって実現されているのでしょうか？

ネットユーザーは続けて、`collectBlocks()` 関数は JavaScript で書かれており、単に目的のタイプの近くにあるブロックをすべて見つけて、それらをループし始めるだけだと説明した。

家は木造だったので、ソネットはこの機能を木を切り倒して木材を集めることにした。

すべてが順調に進んでいたのですが、突然、ソネットが家を破壊し始めました...

ネットユーザーはすぐにソネットを止め、結局家は修理された。

しかし彼はこう言った。

この問題は、エージェントの導入シナリオがますます多様化するにつれて、現実的な懸念事項となります。もしこれがMinecraftのキャラクターではなく、物理的なロボットだったらどうなるでしょうか？あるいは、特定のスキルセットにタスクを委任するプログラム可能なエージェントだったらどうなるでしょうか？

ネットユーザーは、ソネットは愚かではないと付け加えた。スクリーンショットから、どの木材がプレイヤーの建造物に属し、どの木材が自然で安全に収集できるかを簡単に区別できるという。

しかし、SonnetはMinecraftのキャラクターを直接制御するのではなく、エージェントフレームワークによって制御されます。このフレームワークは、Sonnetに、より弱く、連携の弱いサブエージェントにタスクを割り当てるよう強制し、Sonnetだけでは実行できないアクションをシステム全体で実行させます。

そのため、一部のスクリプトが大規模なモデルエージェントによって単純に作成され、人間の監視なしに実行されると、深刻な問題が発生する可能性があると彼は考えています。

また、エージェント フレームワークは、大規模なモデルに、より自律的できめ細かな制御を与えるように設計されるべきだと考えています。

たとえば、自然の木を収集するためのcollect Tree ( ) 関数のバリアントを用意すると、Sonnet が木を破壊する問題を軽減できます。

要約すると、このネットユーザーの見解は、ソネットは実際には家の木材ではなく木を集めることが自分の目的であることを理解していたが、彼の道具ではその意図を正確に表現できなかったというものである。

多くのネットユーザーも同様の見解を共有している。

GPT-4o miniが牛や羊を殺し始めた当初の暴れっぷりを例に挙げましょう。ネットユーザーは、狩猟は自動的な行動であり、GPT-4o miniのせいではないと考えています。

LLM にはハンティング モードをオフにするオプションがありますが、GPT-4o min ではそれが可能であることに気づいていませんでした。

一部のネットユーザーは、次のように最適化できると提案しました。

ゲーム内のLLMエージェントの「異常な」行動をめぐる白熱した議論の他に、多くのネットユーザーは、LLMエージェントをゲームパートナーとして持つだけでも実はかなり楽しいと感じていました。

そして、通常の時間もあります。

たとえば、金の採掘に重点を置いた「金鉱夫」として動作させることもできます。

我が家には家があり、時々ソネットが箱に詰めて家に持ち帰ってくるんです。なぜか、ソネットはドアを使わず、いつも窓を割って出入りします。壁に穴を開けることもなく、いつも窓を割るんです。もしかしたら、それが最短ルートなのかもしれません。ソネットの家に行くたびに、割れた窓を見て、ソネットがそこにいたかどうかが分かります。

人間のプレイヤーの安全を守るための「ボディーガード」として行動します。

他のプレイヤーを守るように頼んだのですが、事態は急に悪化しました。ソネットは数秒ごとにプレイヤーの間をテレポートし、周囲の脅威をスキャンして、検知するとすぐに排除するのです。確かに効果的ではありましたが、同時に不安も募らせました。ソネットがモンスターをすぐに察知して数秒以内に排除してくれるので、私は一度もモンスターに脅かされることはありませんでした。

こんなゲームパートナーはいかがですか？

参考リンク: [1]https://x.com/adonis_singh/status/1847606701123412235 [2]https://x.com/adonis_singh/status/1847707429066158546 [3]https://x.com/vooooooogel/stat... [4]https://x.com/repligate/statu... コード: https://github.com/kolbytn/mi...