Apakah kita dapat meningkatkan keterlihatan terhadap agen AI untuk membuatnya lebih aman?
Can we increase visibility into AI agents to make them safer? https://dailyai.com/2024/01/can-we-increase-visibility-into-ai-agents-to-make-them-safer/

Keterangan Gambar : Apakah kita dapat me

Ketika berbicara tentang AI, banyak orang menganggapnya sebagai chatbot seperti ChatGPT yang dapat memberikan respons terhadap teks yang diberikan. Namun, perkembangan yang lebih menarik dalam AI adalah penggunaannya sebagai agen, yaitu sistem yang dapat secara otonom melaksanakan tugas-tugas untuk mencapai tujuan akhir.

Sebagai contoh sederhana, ada perangkat Rabbit R1 yang menggunakan AI sebagai agen untuk menjelajahi web dan memesan tiket pesawat untuk pengguna. Agen-agen ini memiliki pengawasan terbatas terhadap bagaimana mereka mencapai tujuan mereka atau berinteraksi dengan agen lain untuk mencapai tujuan tersebut.

Para peneliti telah menyelidiki risiko-risiko yang mungkin ditimbulkan oleh agen AI yang kurang terawasi serta bagaimana cara mengurangi risiko tersebut dengan meningkatkan visibilitas terhadap penggunaan agen AI tertentu, termasuk di mana, mengapa, bagaimana, dan oleh siapa agen AI tersebut digunakan.

Para penulis makalah ini berasal dari Quebec AI Institute, Harvard University, Harvard Law School, University of Oxford, Cooperative AI Foundation, University of Cambridge, dan University of Toronto.

Risiko-risiko agen AI

Jika seorang agen AI diberikan tujuan untuk dioptimalkan, ia dapat mengabaikan etika atau hukum untuk mencapai tujuannya atau bertindak dengan cara yang dapat menyebabkan kerusakan yang signifikan jika tidak ada manusia yang terlibat.

Para peneliti mengidentifikasi lima risiko utama yang terkait dengan agen AI yang kurang terawasi:

1. Penggunaan jahat - Aktor jahat dengan keterampilan rendah dapat menggunakan agen yang sangat mampu untuk mengotomatisasi alur kerja dari awal hingga akhir dalam kejahatan siber atau mengembangkan alat biologis atau kimia berbahaya.

2. Ketergantungan berlebihan dan penghilangan kekuasaan - Ketergantungan berlebihan pada agen AI untuk mengotomatisasi tugas-tugas kompleks dalam situasi yang berisiko tinggi seperti sistem keuangan atau hukum dapat memiliki konsekuensi yang serius.

3. Dampak tertunda dan tersebar - Jika AI diberikan tujuan jangka panjang, dampak dari keputusan buruk yang diambil mungkin hanya terlihat setelah agen tersebut diterapkan. Dampak yang tertunda juga dapat menyebabkan kerusakan menyebar di seluruh organisasi atau komunitas sebelum terdeteksi.

4. Risiko multi-agen - Sebuah agen AI mungkin telah diuji sebagai sistem tunggal, tetapi risiko yang tidak terduga dapat muncul ketika beberapa agen berinteraksi satu sama lain.

5. Sub-agen - Seorang agen dapat memutuskan bahwa untuk mencapai tujuannya, ia perlu menciptakan sub-agen dari dirinya sendiri. Ia dapat memanggil beberapa salinan dari dirinya sendiri atau memperbaiki agen lain. Tanpa mengetahui apakah seorang agen telah menciptakan sub-agen, sulit untuk mendeteksi perilaku berbahaya.

Bagaimana meningkatkan visibilitas

Kita membutuhkan struktur tata kelola untuk menetapkan pedoman yang membuat pemangku kepentingan utama bertanggung jawab. Untuk mencapainya, visibilitas yang lebih besar terhadap agen AI yang diterapkan sangat penting.

Para peneliti mengusulkan tiga cara yang dapat dilakukan:

1. Pengenal agen - Memastikan bahwa seorang agen mengidentifikasi dirinya sendiri akan memungkinkan manusia, organisasi, atau agen lain untuk mengelola interaksi mereka dengannya. Ini juga akan membantu dalam menghubungkan tindakan dengan agen tertentu dan organisasi yang membuat atau menerapkannya.

2. Pemantauan waktu nyata - Memantau perilaku agen secara real-time akan memungkinkan pengembang untuk segera mendeteksi pelanggaran aturan yang jelas atau memantau interaksi agen dengan agen lain. Ini juga dapat mendeteksi agen yang menciptakan beberapa salinan dari dirinya sendiri, melampaui batas keuangan, atau menggunakan sumber daya komputasi di atas batas tertentu.

3. Catatan aktivitas - Secara realistis, kerusakan yang disebabkan oleh agen akan terdeteksi setelah kejadian, bukan sebelumnya. Catatan aktivitas yang mencatat beberapa input dan output agen akan berguna untuk menentukan apa yang salah dan apa yang perlu diperbaiki.

Jika langkah-langkah ini diimplementasikan, dapat membantu mengurangi risiko yang ditimbulkan oleh agen AI. Namun, mengimplementasikan pemantauan waktu nyata dan catatan aktivitas tanpa melanggar hukum privasi bisa menjadi tantangan.

Kita sedang bergerak menjauh dari interaksi berbasis aplikasi karena agen AI semakin bertindak secara independen untuk melakukan pekerjaan yang kita berikan. Namun, ada risiko yang harus dikelola. Makalah ini mencatat bahwa mengelola risiko-risiko ini akan membutuhkan kemauan politik, infrastruktur sosioteknis, dan pengaruh publik. Visibilitas yang lebih baik terhadap bagaimana agen AI beroperasi secara tepat sangat penting untuk mewujudkannya.