Penyajian SIMA oleh DeepMind: Agen AI Umum untuk Lingkungan 3D
DeepMind demo SIMA, a generalist AI agent for 3D environments https://dailyai.com/2024/03/deepmind-demo-sima-a-generalist-ai-agent-for-3d-environments/

Keterangan Gambar : Penyajian SIMA oleh

DeepMind telah mengembangkan AI bernama SIMA (Scalable, Instructable, Multiworld Agent) yang bertujuan untuk tidak hanya memahami perintah, tetapi juga menerapkannya di berbagai lingkungan simulasi 3D. Berbeda dengan AI tradisional yang biasanya unggul dalam tugas-tugas diskrit seperti permainan strategi atau pemecahan masalah tertentu, agen-agen SIMA dilatih untuk menginterpretasikan instruksi bahasa manusia dan menerjemahkannya menjadi tindakan menggunakan keyboard dan mouse, meniru interaksi manusia dengan komputer.

SIMA adalah AI generalis pertama yang mampu mengikuti instruksi bahasa alami dalam berbagai lingkungan virtual 3D dan permainan video. Proyek ini didasari oleh dataset besar dan beragam dari permainan manusia di berbagai lingkungan penelitian dan permainan video komersial. SIMA dilatih dan diuji pada sembilan permainan video yang berbeda melalui kolaborasi dengan delapan studio game, termasuk judul-judul terkenal seperti No Man’s Sky dan Teardown.

Dalam hal arsitektur, SIMA menggunakan model visi dan prediksi video yang telah dilatih sebelumnya, disesuaikan dengan pengaturan 3D spesifik dari portofolio permainannya. SIMA tidak memerlukan akses kode sumber atau API kustom, melainkan beroperasi berdasarkan gambar layar dan instruksi yang diberikan pengguna, menggunakan tindakan keyboard dan mouse untuk menjalankan tugas-tugasnya.

SIMA telah menunjukkan keahlian dalam lebih dari 600 keterampilan dasar yang mencakup navigasi, interaksi objek, dan penggunaan menu. Yang membedakan SIMA adalah kemampuannya yang umum. AI ini diajarkan untuk menjadi adaptif, memahami instruksi, dan bertindak sesuai dengan instruksi tersebut di berbagai dunia virtual yang berbeda.

Dengan SIMA, DeepMind bergerak lebih jauh dari sekadar permainan video, mendekati impian memiliki agen AI yang benar-benar cerdas dan dapat diinstruksikan, sehingga memudarkan batas antara pemahaman manusia dan mesin.