Para Peneliti Membangun Dataset Anjing Buatan di GTA-V untuk Menciptakan Model 3D
Researchers build synthetic dog dataset in GTA-V to create 3D models https://dailyai.com/2024/03/researchers-build-synthetic-dog-dataset-in-gta-v-to-create-3d-models/

Keterangan Gambar : Para Peneliti Memban

Peneliti dari University of Surrey telah mengembangkan metode untuk mengubah foto-foto anjing menjadi model 3D yang detail.

Peneliti bertujuan untuk melatih sistem kecerdasan buatan (AI) untuk menginterpretasikan dan mengonversi gambar 2D anjing menjadi pose 3D mereka. Materi pelatihan? Bukan anjing sungguhan, melainkan gambar-gambar yang dihasilkan komputer dari dunia virtual GTA V.

Moira Shooter, seorang mahasiswa penelitian pascasarjana yang terlibat dalam studi ini, berbagi, "Model kami dilatih pada anjing-anjing CGI - tetapi kami dapat menggunakannya untuk membuat model skeletal 3D dari foto-foto hewan sungguhan. Ini dapat memungkinkan konservasionis untuk melihat hewan liar yang terluka, atau membantu seniman menciptakan hewan yang lebih realistis di metaverse."

Metode tradisional untuk mengajari AI tentang struktur 3D melibatkan penggunaan foto-foto sungguhan bersama data tentang posisi 3D objek yang sebenarnya, seringkali diperoleh melalui teknologi motion capture. Namun, ketika menerapkan teknik ini pada anjing, terlalu banyak gerakan yang harus dilacak.

Untuk membangun dataset anjing mereka, para peneliti mengubah kode GTA V untuk menggantikan karakter manusianya dengan avatar anjing melalui proses yang dikenal sebagai "modding".

Ini memungkinkan mereka untuk menghasilkan 118 video yang menangkap anjing-anjing virtual ini dalam berbagai aksi - duduk, berjalan, menggonggong, dan berlari - di berbagai kondisi lingkungan. Ini menghasilkan penciptaan 'DigiDogs,' database kaya yang berisi 27.900 frame gerakan anjing, yang tidak mungkin dikumpulkan dengan pengumpulan data dunia nyata.

Langkah selanjutnya menggunakan model AI DINOv2 dari Meta untuk keterampilan generalisasinya yang kuat, menyetel ulangnya dengan DigiDogs untuk memprediksi pose 3D dari gambar RGB satu tampilan dengan akurasi.

Peneliti menunjukkan bahwa menggunakan dataset DigiDogs untuk pelatihan menghasilkan pose anjing 3D yang lebih akurat dan realistis daripada yang dilatih dengan dataset dunia nyata, berkat variasi dalam penampilan dan aksi anjing yang ditangkap.

Hasilnya melampaui metode yang ada dengan memberikan hasil 3D yang detail dan menetapkan standar baru dalam realisme dan akurasi untuk estimasi pose anjing 3D dari gambar 2D, dikonfirmasi melalui evaluasi kualitatif dan kuantitatif yang cermat.

Meskipun studi ini merupakan langkah besar dalam pemodelan hewan 3D, tim mengakui bahwa masih ada lebih banyak pekerjaan yang harus dilakukan, terutama dalam meningkatkan bagaimana model memprediksi aspek kedalaman gambar (koordinat z).

Shooter menjelaskan dampak potensial dari karyanya, mengatakan, "Pose 3D mengandung begitu banyak informasi daripada foto 2D. Dari ekologi hingga animasi - solusi menarik ini memiliki begitu banyak penggunaan yang mungkin."

Artikel ini memenangkan hadiah Best Paper di Konferensi Musim Dingin IEEE/CVF tentang Aplikasi Visi Komputer tetapi juga menjanjikan banyak aplikasi, mulai dari konservasi satwa liar hingga rendering objek 3D digital dalam aplikasi VR.