OpenAI Memperkenalkan Sora, Model Teks-ke-Video Lanjutan
OpenAI introduces Sora, an advanced text-to-video model https://dailyai.com/2024/02/openai-introduces-sora-an-advanced-text-to-video-model/

Keterangan Gambar : OpenAI Memperkenalka

OpenAI telah mengungkapkan Sora, sebuah model teks-ke-video (TTV) terbaru yang menghasilkan video realistis hingga 60 detik dari teks pengguna.

Kita telah melihat kemajuan besar dalam generasi video AI akhir-akhir ini. Bulan lalu, kita sangat antusias ketika Google memberikan demo Lumiere, model TTV mereka yang menghasilkan klip video 5 detik dengan koherensi dan gerakan yang sangat baik.

Hanya beberapa minggu kemudian, video demo yang mengesankan yang dihasilkan oleh Sora membuat Lumiere milik Google terlihat cukup kuno.

Sora menghasilkan video berkualitas tinggi yang dapat mencakup beberapa adegan dengan pergerakan kamera simulasi sambil tetap sesuai dengan permintaan yang kompleks. Sora juga dapat menghasilkan gambar, memperpanjang video ke belakang dan ke depan, serta menghasilkan video menggunakan gambar sebagai permintaan.

Beberapa kinerja impresif Sora terletak pada hal-hal yang sering kita anggap biasa saat menonton video, tetapi sulit bagi AI untuk menghasilkannya.

Berikut adalah contoh video yang dihasilkan oleh Sora dari permintaan: "Trailer film yang menampilkan petualangan pria berusia 30 tahun yang mengenakan helm motor rajut merah, langit biru, gurun garam, gaya sinematik, diambil dengan film 35mm, warna-warna cerah."

Klip pendek ini menunjukkan beberapa fitur kunci Sora yang membuatnya benar-benar istimewa.

Permintaannya cukup kompleks dan video yang dihasilkan sesuai dengan permintaan tersebut.

Sora mempertahankan koherensi karakter. Bahkan ketika karakter menghilang dari bingkai dan muncul kembali, penampilan karakter tetap konsisten.

Sora mempertahankan keberadaan gambar. Sebuah objek dalam adegan tetap ada dalam bingkai-bingkai berikutnya saat pergerakan kamera atau selama perubahan adegan.

Video yang dihasilkan menunjukkan pemahaman yang akurat tentang fisika dan perubahan lingkungan. Pencahayaan, bayangan, dan jejak kaki di salju adalah contoh bagus dari hal ini.

Sora tidak hanya memahami arti kata-kata dalam permintaan, tetapi juga memahami bagaimana objek-objek tersebut berinteraksi satu sama lain dalam dunia fisik.

Berikut adalah contoh lain dari video impresif yang dapat dihasilkan oleh Sora.

Permintaan untuk video ini adalah: "Seorang wanita bergaya berjalan di jalan Tokyo yang dipenuhi dengan lampu neon hangat bercahaya dan tanda kota animasi. Dia mengenakan jaket kulit hitam, gaun merah panjang, dan sepatu bot hitam, serta membawa tas hitam. Dia mengenakan kacamata hitam dan lipstik merah. Dia berjalan dengan percaya diri dan santai. Jalanannya basah dan reflektif, menciptakan efek cermin dari lampu-lampu berwarna. Banyak pejalan kaki berjalan di sekitar."

Langkah lebih dekat ke AGI

Kita mungkin terkesan dengan video-video tersebut, tetapi pemahaman dunia fisik inilah yang membuat OpenAI sangat antusias.

Dalam pos blog Sora, perusahaan tersebut mengatakan "Sora berfungsi sebagai dasar bagi model yang dapat memahami dan mensimulasikan dunia nyata, sebuah kemampuan yang kami percayai akan menjadi tonggak penting untuk mencapai AGI."

Beberapa peneliti percaya bahwa kecerdasan buatan yang terwujud adalah hal yang diperlukan untuk mencapai kecerdasan buatan umum (AGI). Menanamkan kecerdasan buatan dalam robot yang dapat merasakan dan menjelajahi lingkungan fisik adalah salah satu cara untuk mencapai hal ini, tetapi hal ini datang dengan sejumlah tantangan praktis.

Sora dilatih dengan sejumlah besar data video dan gambar yang menurut OpenAI bertanggung jawab atas kemampuan emergen yang ditampilkan oleh model ini dalam mensimulasikan aspek-aspek orang, hewan, dan lingkungan dari dunia fisik.

OpenAI mengatakan bahwa Sora tidak secara eksplisit dilatih pada fisika objek 3D tetapi kemampuan emergen tersebut adalah "fenomena murni dari skala".

Ini berarti bahwa Sora pada akhirnya dapat digunakan untuk mensimulasikan dunia digital yang dapat diinteraksi oleh AI tanpa perlu ditanamkan dalam perangkat fisik seperti robot.

Secara lebih sederhana, ini adalah apa yang sedang dicoba dicapai oleh para peneliti Tiongkok dengan robot AI mereka yang bernama Tong Tong.

Untuk saat ini, kita harus puas dengan video demo yang disediakan oleh OpenAI. Sora hanya akan tersedia untuk tim red dan beberapa seniman visual, desainer, dan pembuat film untuk mendapatkan umpan balik dan memeriksa kesesuaian model.

Setelah Sora dirilis secara publik, mungkin kita akan melihat pekerja industri film SAG-AFTRA mengambil kembali spanduk mereka?

Sumber: https://openai.com/sora/