Model SAM 2 Meta Memungkinkan Segmentasi Video Tepat dalam Hitungan Detik
Meta’s SAM 2 model enables accurate video segmentation in seconds https://dailyai.com/2024/07/metas-sam-2-model-enables-accurate-video-segmentation-in-seconds/

Meta Memperkenalkan SAM 2: Terobosan dalam Analisis Video

Divisi riset Meta telah meluncurkan SAM 2 (Segment Anything Model 2), sebuah sistem AI yang menandai kemajuan signifikan dalam analisis video. Model baru ini mengembangkan kemampuan segmentasi gambar dari pendahulunya, SAM, dengan menjelajahi domain yang lebih kompleks, yaitu video.

Segmentasi video – kemampuan untuk mengidentifikasi dan melacak objek tertentu dalam adegan yang bergerak – telah lama menjadi tantangan bagi AI. Sementara manusia dapat dengan mudah mengikuti mobil yang bergerak di lalu lintas atau seseorang yang berjalan di kerumunan, sistem AI sering kali kesulitan. Ini menjadi masalah besar bagi mobil tanpa pengemudi dan kendaraan otonom lainnya, yang perlu melacak objek 3D yang bergerak di lingkungan mereka. SAM 2 bertujuan untuk menjembatani kesenjangan ini, mendekatkan pemahaman AI tentang video ke tingkat persepsi manusia.

Sistem ini dapat mengidentifikasi dan melacak hampir semua objek sepanjang video dengan input pengguna yang minimal – kadang-kadang hanya dengan satu klik. Ini membuka banyak kemungkinan di berbagai bidang, mulai dari penyuntingan film hingga penelitian ilmiah.

Cara Meta Menciptakan SAM 2:

Tim Meta mengembangkan teknik yang disebut Promptable Visual Segmentation (PVS), yang memungkinkan pengguna untuk membimbing AI dengan petunjuk sederhana pada setiap frame video. Ini berarti sistem dapat beradaptasi dengan berbagai skenario, mulai dari melacak orang tertentu di kerumunan hingga mengikuti gerakan sayap burung saat terbang.

Mereka membangun arsitektur model yang mencakup komponen untuk memproses frame individu, menyimpan informasi tentang objek seiring waktu, dan menghasilkan segmentasi yang tepat. Elemen kunci adalah modul memori, yang memungkinkan SAM 2 untuk mempertahankan pelacakan yang konsisten bahkan ketika objek sementara menghilang dari pandangan.

Dataset baru yang sangat besar telah dibuat, berisi lebih dari 50.000 video dan 35 juta frame yang dilabeli – jauh lebih besar daripada dataset segmentasi video sebelumnya. Dataset ini, yang dinamakan SA-V, mencakup berbagai jenis objek, ukuran, dan skenario, meningkatkan kemampuan model untuk menggeneralisasi ke situasi baru.

Model ini telah menjalani pelatihan dan pengujian yang ekstensif di 17 dataset video yang beragam, dari rekaman dashcam hingga pencitraan medis. SAM 2 mengungguli metode terkini dalam tugas segmentasi objek video semi-supervised, mencapai peningkatan rata-rata 7,5% dalam skor J&F (metrik standar untuk kualitas segmentasi).

Dengan komitmen Meta terhadap penelitian terbuka, SAM 2 dirilis sebagai perangkat lunak sumber terbuka. Ini mencakup tidak hanya model, tetapi juga dataset yang digunakan untuk melatihnya. Peneliti sudah mulai menjelajahi cara untuk menangani video yang lebih panjang, meningkatkan kinerja pada detail halus, dan mengurangi daya komputasi yang diperlukan untuk menjalankan model.

Seiring teknologi segmentasi gambar berkembang, SAM 2 dipastikan akan mengubah cara kita berinteraksi dengan dan menganalisis konten video.