OpenAI Luncurkan Realtime API dan Fitur Baru untuk Pengembang
OpenAI unveils Realtime API and other features for developers https://dailyai.com/2024/10/openai-unveils-realtime-api-and-other-features-for-developers/

Fitur API Baru OpenAI yang Menarik untuk Pengembang

OpenAI baru saja mengumumkan beberapa fitur baru dalam API mereka yang akan menarik perhatian para pengembang, meskipun tidak ada model baru yang dirilis pada acara Dev Day. Perusahaan ini menghadapi tantangan dengan banyaknya karyawan kunci yang meninggalkan perusahaan, termasuk CTO Mira Murati. Selain itu, mereka juga harus bersaing dengan model-model lain, termasuk model open-source yang lebih murah dan sangat mampu.

Realtime API

Fitur paling menarik yang diperkenalkan adalah Realtime API, yang saat ini masih dalam tahap beta. API ini memungkinkan pengembang untuk membangun pengalaman percakapan suara-ke-suara dengan latensi rendah tanpa perlu menggunakan model terpisah untuk pengenalan suara dan konversi teks-ke-suara. Dengan API ini, pengembang dapat membuat aplikasi yang memungkinkan percakapan real-time dengan AI, seperti asisten suara atau alat pembelajaran bahasa, hanya dengan satu panggilan API. Meskipun tidak sehalus mode suara canggih GPT-4o, fitur ini cukup mendekati. Namun, biaya penggunaannya cukup tinggi, sekitar $0,06 per menit untuk input audio dan $0,24 per menit untuk output audio.

Penyempurnaan Visi

Fitur penyempurnaan visi dalam API memungkinkan pengembang untuk meningkatkan kemampuan model dalam memahami dan berinteraksi dengan gambar. Dengan menyempurnakan GPT-4o menggunakan gambar, pengembang dapat menciptakan aplikasi yang unggul dalam tugas seperti pencarian visual atau deteksi objek. Contohnya, perusahaan Grab telah memanfaatkan fitur ini untuk meningkatkan akurasi layanan pemetaan mereka dengan mengenali rambu lalu lintas dari gambar tingkat jalan.

Caching Prompt

Untuk meningkatkan efisiensi biaya, OpenAI memperkenalkan caching prompt, alat yang mengurangi biaya dan latensi dari panggilan API yang sering digunakan. Dengan menggunakan input yang baru saja diproses, pengembang dapat menghemat hingga 50% biaya token input dan mengurangi waktu respons. Fitur ini sangat berguna untuk aplikasi yang memerlukan percakapan panjang atau konteks yang berulang, seperti chatbot dan alat layanan pelanggan.

Distilasi Model

Distilasi model memungkinkan pengembang untuk menyempurnakan model yang lebih kecil dan lebih efisien biaya dengan menggunakan output dari model yang lebih besar. Sebelumnya, proses ini memerlukan beberapa langkah yang terpisah dan memakan waktu. Dengan fitur distilasi model yang terintegrasi, pengembang dapat secara otomatis menyimpan pasangan output dari model yang lebih besar dan menggunakannya untuk menyempurnakan model yang lebih kecil. Proses ini menjadi lebih terstruktur, otomatis, dan efisien.

Dengan proses pengembang yang lebih sederhana, latensi yang lebih rendah, dan biaya yang berkurang, model GPT-4o OpenAI menjadi pilihan menarik bagi pengembang yang ingin cepat mengembangkan aplikasi yang kuat. Kita akan melihat aplikasi apa saja yang mungkin muncul berkat fitur multi-modal ini.