Meta Merilis Model Llama 3.1, Tetap Mengusung Strategi Terbuka
Meta releases Llama 3.1 models, sticks with open strategy https://dailyai.com/2024/07/meta-releases-llama-3-1-models-sticks-with-open-strategy/

Meta telah merilis model Llama 3.1 terbarunya dalam versi 8B, 70B, dan 405B serta berkomitmen pada visi open source milik Mark Zuckerberg untuk masa depan kecerdasan buatan (AI).

Penambahan baru pada keluarga model Llama Meta dilengkapi dengan panjang konteks yang diperluas hingga 128k dan mendukung delapan bahasa.

Meta mengatakan model 405B yang sangat dinantikan menunjukkan "fleksibilitas, kontrol, dan kemampuan terkini yang tak tertandingi yang menyaingi model tertutup terbaik." Mereka juga mengklaim bahwa Llama 3.1 405B adalah "model dasar yang tersedia secara terbuka terbesar dan paling canggih di dunia."

Dengan biaya komputasi yang sangat tinggi yang dikeluarkan untuk melatih model-model yang semakin besar, banyak spekulasi bahwa model unggulan Meta 405B bisa menjadi model berbayar pertamanya.

Llama 3.1 405B dilatih dengan lebih dari 15 triliun token menggunakan 16.000 NVIDIA H100s, kemungkinan menghabiskan ratusan juta dolar.

Dalam sebuah pos blog, CEO Meta Mark Zuckerberg memperkuat pandangan perusahaan bahwa AI open source adalah arah yang harus ditempuh dan rilis Llama 3.1 adalah langkah selanjutnya "menuju standar industri AI open source."

Model-model Llama 3.1 dapat diunduh secara gratis dan dimodifikasi atau disesuaikan dengan berbagai layanan dari Amazon, Databricks, dan NVIDIA.

Model-model tersebut juga tersedia di penyedia layanan cloud termasuk AWS, Azure, Google, Oracle.

Mulai hari ini, open source memimpin jalan. Memperkenalkan Llama 3.1: Model-model kami yang paling canggih hingga saat ini.

Hari ini kami merilis koleksi model Llama 3.1 baru termasuk yang sangat dinantikan 405B. Model-model ini memberikan kemampuan penalaran yang ditingkatkan, konteks token 128K yang lebih besar...

Kinerja

Meta mengatakan mereka menguji model-modelnya pada lebih dari 150 dataset benchmark dan merilis hasil untuk benchmark yang lebih umum untuk menunjukkan seberapa baik model-model baru mereka dibandingkan dengan model-model terkemuka lainnya.

Tidak ada banyak perbedaan antara Llama 3.1 405B dengan GPT-4o dan Claude 3.5 Sonnet. Berikut adalah angka untuk model 405B dan kemudian versi yang lebih kecil 8B dan 70B.

Meta juga melakukan "evaluasi manusia yang ekstensif yang membandingkan Llama 3.1 dengan model-model pesaing dalam skenario dunia nyata."

Evaluasi manusia terhadap Llama 3.1 405B mencerminkan kesetaraan yang sama dengan angka benchmark yang terungkap.

Meta mengatakan model mereka benar-benar terbuka karena bobot model Llama 3.1 juga tersedia untuk diunduh, meskipun data pelatihannya tidak dibagikan. Perusahaan juga memperbarui lisensinya untuk memungkinkan model-model Llama digunakan untuk meningkatkan model AI lainnya.

Kebebasan untuk menyesuaikan, memodifikasi, dan menggunakan model-model Llama tanpa batasan akan membuat kritikus AI open source bersuara keras.

Zuckerberg berpendapat bahwa pendekatan open source adalah cara terbaik untuk menghindari bahaya yang tidak disengaja. Jika sebuah model AI terbuka untuk diteliti, katanya, kemungkinan perilaku emergen berbahaya yang akan kita lewatkan dalam model tertutup akan lebih kecil.

Ketika membahas potensi bahaya yang disengaja, Zuckerberg mengatakan, "Selama semua orang memiliki akses ke generasi model yang serupa - yang dipromosikan oleh open source - maka pemerintah dan lembaga dengan sumber daya komputasi lebih akan dapat memeriksa pelaku buruk dengan sumber daya komputasi yang lebih sedikit."

Mengatasi risiko musuh negara seperti China mengakses model-model Meta, Zuckerberg mengatakan bahwa upaya untuk mencegah hal ini tidak akan berhasil.

"Musuh kita sangat mahir dalam spionase, mencuri model yang muat di thumb drive relatif mudah, dan kebanyakan perusahaan teknologi jauh dari cara beroperasi yang akan membuat hal ini lebih sulit," jelasnya.

Kegembiraan atas model AI open source seperti Llama 3.1 405B menantang model-model tertutup besar adalah wajar.

Tetapi dengan desas-desus GPT-5 dan Claude 3.5 Opus menunggu di belakang layar, hasil benchmark ini mungkin tidak akan bertahan lama.