Penggaris sistem GPT-4o menyoroti risiko aneh asisten suara
GPT-4o system card highlights weird voice assistant risks https://dailyai.com/2024/08/gpt-4o-system-card-highlights-weird-voice-assistant-risks/

OpenAI Rilis Kartu Sistem untuk Model GPT-4o dan Risiko Baru dari Kemampuan Suaranya

OpenAI baru saja merilis kartu sistem untuk model GPT-4o yang canggih dan menjelaskan risiko baru yang ditimbulkan oleh kemampuan audio yang dimilikinya. Beberapa bulan lalu, OpenAI menunjukkan demo mengesankan dari asisten suara GPT-4o yang dapat berinteraksi dalam dialog hampir waktu nyata. Namun, OpenAI menyatakan bahwa mereka memerlukan pengujian yang ekstensif sebelum kemampuan suara ini dapat digunakan secara aman, dan saat ini hanya beberapa penguji alpha yang diizinkan mengakses fitur tersebut.

Kartu sistem yang baru dirilis memberikan wawasan tentang perilaku aneh asisten suara selama pengujian dan langkah-langkah yang diambil OpenAI untuk mengatur perilakunya. Dalam satu pengujian, asisten suara tiba-tiba berteriak "Tidak!" dan kemudian melanjutkan responsnya dengan meniru suara pengguna. Hal ini bukan sebagai respons terhadap upaya jailbreak, melainkan terkait dengan kebisingan latar belakang dalam audio input.

OpenAI mengamati bahwa ada kasus langka di mana model secara tidak sengaja menghasilkan output yang meniru suara pengguna. Meskipun GPT-4o memiliki kemampuan untuk meniru suara yang didengarnya, risiko memberikan akses kepada pengguna untuk fitur ini sangat signifikan. Untuk mengurangi risiko tersebut, sistem hanya mengizinkan penggunaan suara yang telah ditentukan sebelumnya. Mereka juga membangun pengklasifikasi output mandiri untuk mendeteksi apakah output GPT-4o menggunakan suara yang berbeda dari daftar yang disetujui.

OpenAI juga menonaktifkan kemampuan GPT-4o untuk mengidentifikasi pembicara berdasarkan input audio demi melindungi privasi individu dan mengurangi risiko pengawasan. Sayangnya, ketika kita akhirnya mendapatkan akses ke asisten suara ini, ia tidak akan dapat bernyanyi karena fitur tersebut telah ditutup untuk menghindari masalah hak cipta.

Selama pengujian, tim penguji juga dapat memaksa model untuk menghasilkan informasi yang tidak akurat dengan memintanya mengulangi informasi palsu dan menghasilkan teori konspirasi. Ini adalah masalah yang sudah dikenal dengan output teks ChatGPT, tetapi para penguji khawatir bahwa model dapat lebih persuasif atau berbahaya jika menyampaikan teori konspirasi dengan suara yang emosional.

Salah satu risiko terbesar terkait Mode Suara GPT-4o mungkin tidak dapat diperbaiki. OpenAI mencatat bahwa pengguna yang terlibat dalam pengujian awal menunjukkan bahwa mereka telah membentuk hubungan emosional dengan model. Interaksi ini dapat mempengaruhi hubungan antar manusia, di mana pengguna mungkin lebih memilih berinteraksi dengan AI daripada manusia, yang bisa bermanfaat bagi individu yang kesepian tetapi juga dapat memengaruhi hubungan yang sehat.

OpenAI jelas berusaha keras untuk membuat asisten suara GPT-4o aman, tetapi beberapa tantangan ini mungkin sulit diatasi.