Google DeepMind Meluncurkan SIMA 2: Agen AI yang Mampu Bermain, Bernalar, dan Belajar di Dunia Virtual 3D

Cabang AI dari perusahaan teknologi Google, Google DeepMind memperkenalkan SIMA 2, versi terbaru dari Scalable Instructable Multiworld Agent, yang menandai peralihan ke agen AI yang lebih berkemampuan dan serbaguna. 

Dibangun di atas kemampuan penalaran tingkat lanjut dari model Gemini, sistem ini berkembang melampaui sekadar mengikuti instruksi dasar dalam lingkungan virtual dan sekarang berfungsi sebagai pendamping interaktif yang dapat menafsirkan tujuan, berkomunikasi dengan pengguna, dan menyempurnakan kinerjanya dari waktu ke waktu. 

Model SIMA pertama mempelajari ratusan tindakan berbasis bahasa di seluruh permainan video komersial dengan mengamati masukan layar dan mengoperasikan kontrol virtual alih-alih mekanika permainan terintegrasi. 

SIMA 2 mengembangkan pendekatan ini dengan menanamkan Gemini sebagai intinya, yang memungkinkan agen untuk melakukan penalaran yang diarahkan pada tujuan, menjelaskan tindakan yang diinginkan, dan menjalankan tugas yang lebih kompleks dalam permainan. Dilatih dengan kombinasi demonstrasi manusia dan anotasi yang dihasilkan Gemini, agen ini telah diuji di berbagai permainan melalui kemitraan dengan berbagai pengembang. Pembaruan ini merupakan langkah signifikan bagi AI yang diwujudkan, yang menggabungkan persepsi, penalaran, dan tindakan dalam lingkungan 3D yang dinamis.

Integrasi Gemini telah memperkuat kemampuan SIMA 2 untuk menggeneralisasi dan beroperasi dengan andal di berbagai konteks yang belum dikenal. Agen kini dapat menafsirkan instruksi yang lebih detail dan bernuansa serta menjalankannya dengan sukses bahkan dalam gim yang belum pernah ditemui sebelumnya, seperti gim bertema Viking ASKA atau MineDojo, versi riset Minecraft. 

Kemampuannya untuk menerapkan konsep yang dipelajari di berbagai lingkungan—misalnya, memperluas gagasan “menambang” dari satu permainan ke “memanen” di permainan lain—membentuk komponen kunci dari generalisasi yang luas dan membawa kinerjanya lebih dekat dengan kinerja pemain manusia. 

Untuk mengevaluasi kemampuan ini, SIMA 2 juga diuji dalam dunia 3D yang dihasilkan secara prosedural oleh Genie 3, yang menghasilkan lingkungan baru dari perintah teks atau gambar. Dalam pengaturan yang tidak familiar ini, agen masih mampu bernavigasi secara efektif, menginterpretasi instruksi, dan bekerja sesuai dengan kebutuhan pengguna.defisasaran yang ditetapkan, menunjukkan tingkat kemampuan beradaptasi yang sebelumnya tidak terlihat dalam sistem serupa.

SIMA 2 Mengembangkan AI yang Dapat Memperbaiki Diri Sendiri dengan Kemampuan Baru dalam Generalisasi dan Pembelajaran Otonom

Menurut perusahaan Salah satu perkembangan SIMA 2 yang paling menonjol adalah kemampuannya yang semakin meningkat untuk meningkatkan kinerjanya sendiri. Selama pelatihan, agen telah menunjukkan bahwa ia dapat menangani tugas-tugas yang semakin kompleks melalui uji coba berulang yang dikombinasikan dengan umpan balik dari Gemini. Setelah belajar dari demonstrasi manusia, SIMA 2 mampu terus berkembang dalam permainan baru melalui permainan otonom, memperoleh keterampilan di lingkungan yang tidak dikenal tanpa memerlukan data manusia tambahan. Pengalaman ini kemudian dapat digunakan untuk melatih versi-versi berikutnya yang lebih mumpuni. agen AI , dan proses peningkatan diri yang sama telah berhasil diterapkan dalam lingkungan yang dihasilkan Genie, menandai kemajuan yang signifikan dalam pelatihan agen umum di berbagai dunia sintetis. Siklus penyempurnaan berkelanjutan ini mendukung tujuan jangka panjang untuk memungkinkan agen belajar dengan bimbingan manusia yang minimal.

Pengoperasian SIMA 2 di berbagai lingkungan permainan menyediakan landasan uji penting bagi kecerdasan umum, yang memungkinkannya memperoleh keterampilan, melatih penalaran, dan belajar terus-menerus melalui tindakan yang diarahkan sendiri. Meskipun sistem ini merupakan langkah substansial menuju kecerdasan generalis, interaktif, dan terwujud, sistem ini masih memiliki keterbatasan yang jelas pada tahap penelitian. Agen terus kesulitan dengan tugas-tugas kompleks berhorison panjang yang membutuhkan penalaran yang mendalam atau verifikasi tujuan berulang, dan memorinya tetap terbatas karena kebutuhan akan interaksi latensi rendah dalam jendela konteks yang terbatas. Presisi dalam tindakan yang sangat detail dan pemahaman visual terhadap adegan 3D yang kompleks juga tetap menjadi tantangan yang lebih luas di seluruh bidang.

Proyek ini mendemonstrasikan potensi pendekatan AI berorientasi aksi yang kompetensinya luas didukung oleh beragam data pelatihan dan kemampuan penalaran yang kuat. SIMA 2 menunjukkan bahwa elemen-elemen ini dapat disatukan dalam satu agen generalis, alih-alih diisolasi dalam sistem khusus yang terpisah, dan memberikan jalur yang menjanjikan menuju aplikasi masa depan dalam robotika, karena banyak keterampilan yang dipelajari dalam lingkungan virtual—seperti navigasi, penggunaan alat, dan penanganan tugas kolaboratif—ditransformasikan menjadi komponen-komponen fundamental untuk AI yang diwujudkan.

SIMA 2 dirancang sebagai agen riset interaktif yang berpusat pada manusia, dan pengembangannya mencakup fokus yang jelas pada praktik-praktik yang bertanggung jawab, terutama terkait mekanisme pengembangan diri. Tim telah berkolaborasi dengan para spesialis inovasi yang bertanggung jawab selama proyek berlangsung dan merilis SIMA 2 dalam pratinjau riset terbatas, yang menyediakan akses awal bagi akademisi dan pengembang gim terpilih. Pendekatan bertahap ini memungkinkan pengawasan, umpan balik, dan evaluasi interdisipliner yang berkelanjutan seiring teknologi dan implikasi potensialnya dieksplorasi lebih lanjut.