谷歌DeepMind發布SIMA 2：能夠在3D虛擬世界中玩耍、推理和學習的人工智慧代理

谷歌科技公司的人工智慧部門， Google DeepMind 推出了 SIMA 2，這是其可擴展指令多世界代理的最新版本，標誌著向功能更強大、用途更廣泛的 AI 代理邁進。 

該系統基於 Gemini 模型的先進推理能力，其功能不再局限於在虛擬環境中遵循基本指令，而是可以作為互動式助手，能夠解釋目標、與用戶對話，並隨著時間的推移不斷改進其效能。 

第一個 SIMA 模型透過觀察螢幕輸入並使用虛擬控製而不是整合的遊戲機制，學習了商業電玩遊戲中數百種語言驅動的動作。 

SIMA 2 透過將 Gemini 作為核心嵌入其中，進一步推進了這一方法，使智能體能夠進行目標導向推理、解釋其預期行為，並在遊戲中執行更複雜的任務。該智能體基於人類演示和 Gemini 生成的標註進行訓練，並透過與多家遊戲開發商的合作，在更廣泛的遊戲中進行了測試。此次更新標誌著具身人工智慧發展邁出了重要一步，它將感知、推理和行動融合在動態 3D 環境中。

Gemini 的整合增強了 SIMA 2 在陌生環境中泛化和可靠運作的能力。現在，該智能體能夠理解更詳細、更細緻的指令，並成功執行，即使是在它以前從未接觸過的遊戲中，例如以維京為主題的 ASKA 或 MineDojo（Minecraft 的研究版本）。 

它能夠將學習到的概念應用到不同的環境中——例如，將「挖掘」的概念從一個遊戲中擴展到另一個遊戲中的「收穫」——這是廣泛概括的關鍵組成部分，並使其表現更接近人類玩家。 

為了評估這些能力，SIMA 2 也在 Genie 3 創建的程式化 3D 世界中進行了測試。 Genie 3 可以根據文字或圖像提示產生新的環境。在這些陌生的環境中，智能體仍然能夠有效地導航、理解指令並朝著使用者期望的方向努力。defi目標明確，展現出類似系統中前所未見的適應力。

SIMA 2 憑藉著泛化和自主學習方面的新功能，推動了自我改進人工智慧的發展

根據 公司 SIMA 2 最顯著的進步之一是其不斷提升自身效能的能力。在訓練過程中，該智能體透過反覆試錯並結合 Gemini 的回饋，展現出能夠勝任日益複雜的任務。在最初透過人類演示學習之後，SIMA 2 能夠透過自主遊戲在新遊戲中不斷進步，在陌生的環境中累積技能，而無需額外的人類數據。這些經驗隨後可用於訓練後續更強大的版本。 人工智能代理 同樣的自我改進過程已成功應用於 Genie 生成的環境中，這標誌著在訓練通用智能體以適應各種合成世界方面取得了意義重大的進展。這種持續改進的循環有助於實現更長遠的目標，即讓智能體能夠在極少的人工指導下進行學習。

SIMA 2 在各種遊戲環境中的運作為其通用智慧提供了一個重要的測試平台，使其能夠透過自主行動來獲取技能、練習推理並持續學習。儘管該系統代表著向通用型、互動式、具身智慧邁出的重要一步，但它仍有明顯的研發階段限制。智能體在處理需要長時間推理或反覆目標驗證的複雜、長週期任務時仍然面臨挑戰，並且由於需要在有限的上下文視窗內進行低延遲交互，其記憶容量仍然有限。精細動作的精確性和對複雜 3D 場景的視覺理解仍然是該領域普遍存在的挑戰。

該計畫展示了一種面向行動的人工智慧方法的潛力，該方法透過多樣化的訓練資料和強大的推理能力來支援廣泛的能力。 SIMA 2 表明，這些要素可以整合到一個通用智能體中，而不是孤立地存在於不同的專業系統中。它為未來在機器人領域的應用提供了一條充滿希望​​的道路，因為在虛擬環境中學習到的許多技能——例如導航、工具使用和協作任務處理——都可以轉化為具身人工智慧的基本組成部分。

SIMA 2 被設計成一個以人為本的互動式研究代理，其開發過程明確側重於負責任的實踐，尤其是在自我改進機制方面。團隊在整個專案過程中與負責任創新專家密切合作，並以有限的研究預覽版形式發布 SIMA 2，為部分學者和遊戲開發者提供早期訪問權限。這種分階段的方法能夠確保在進一步探索該技術及其潛在影響的過程中，持續進行審查、回饋和跨學科評估。