AI Sekaratkan Percakapan Audio dengan Kemampuannya
IBM Security shows how AI can hijack audio conversations https://dailyai.com/2024/02/ibm-security-shows-how-ai-can-hijack-audio-conversations/

Keterangan Gambar : AI Sekaratkan Percak

IBM Security telah mempublikasikan penelitian mereka di blog Security Intelligence untuk menunjukkan bagaimana klon suara AI dapat disisipkan ke dalam percakapan langsung tanpa peserta menyadarinya. Seiring dengan peningkatan teknologi klon suara, kita telah melihat panggilan palsu yang mengaku sebagai Joe Biden dan panggilan penipuan yang berpura-pura menjadi anggota keluarga yang membutuhkan uang.

Audio dalam panggilan-panggilan ini terdengar bagus, namun panggilan penipuan seringkali dapat dicegah dengan mudah dengan mengajukan beberapa pertanyaan pribadi untuk mengidentifikasi penelepon sebagai penipu. Dalam serangan konsep bukti lanjutan mereka, para peneliti keamanan IBM Security menunjukkan bahwa LLM yang dipasangkan dengan klon suara dapat bertindak sebagai man-in-the-middle untuk mencuri hanya bagian penting dari percakapan, bukan seluruh panggilan.

Serangan ini dapat disampaikan melalui malware yang terpasang di ponsel korban atau layanan Voice over IP (VoIP) yang terkompromi. Setelah terpasang, program tersebut memantau percakapan dan hanya memerlukan 3 detik audio untuk dapat mengkloning kedua suara.

Generator ucapan-ke-teks memungkinkan LLM untuk memantau percakapan untuk memahami konteks pembicaraan. Program tersebut diinstruksikan untuk meneruskan audio percakapan apa adanya tetapi memodifikasi audio panggilan ketika seseorang meminta rincian rekening bank.

Ketika orang tersebut merespons untuk memberikan rincian rekening bank mereka, klon suara memodifikasi audio untuk memberikan rincian bank penipu. Latensi dalam audio selama modifikasi ditutupi dengan beberapa ucapan pengisi.

Karena LLM meneruskan audio yang tidak dimodifikasi untuk sebagian besar panggilan, sangat sulit untuk mengetahui bahwa ancaman sedang terjadi. Para peneliti mengatakan bahwa serangan yang sama "juga dapat memodifikasi informasi medis, seperti golongan darah dan alergi dalam percakapan; dapat memerintahkan seorang analis untuk menjual atau membeli saham; dapat memerintahkan seorang pilot untuk mengalihkan rute."

Para peneliti mengatakan bahwa "membangun PoC ini sangat mudah dan menakutkan." Ketika intonasi dan emosi klon suara meningkat dan ketika perangkat keras yang lebih baik mengurangi latensi, jenis serangan seperti ini akan sangat sulit dideteksi atau dicegah.

Memperluas konsep di luar mencuri percakapan audio, para peneliti mengatakan bahwa dengan "model-model yang ada yang dapat mengonversi teks menjadi video, secara teoritis memungkinkan untuk menyusup ke video yang ditayangkan langsung, seperti berita di TV, dan menggantikan konten asli dengan yang dimanipulasi."

Mungkin lebih aman untuk hanya percaya pada mata dan telinga Anda ketika Anda berada di dekat fisik dari orang yang Anda ajak bicara.