ToolVerifier: Alat Baru dari LLN Meta dan UCSD untuk Meningkatkan Penggunaan Alat dalam Memverifikas
Meta, UCSD introduce ToolVerifier to improve LLM tool calls https://dailyai.com/2024/02/meta-ucsd-introduce-toolverifier-to-improve-llm-tool-calls/

Keterangan Gambar : ToolVerifier: Alat B

Peneliti dari Meta dan University of California San Diego (UCSD) mengembangkan ToolVerifier, sebuah metode yang meningkatkan cara LLMs memanggil dan berinteraksi dengan alat perangkat lunak.

Untuk LLMs menjadi berguna sebagai asisten umum atau agen, mereka perlu diajari cara menggunakan berbagai alat atau API. Menyetel ulang LLM untuk menggunakan alat tertentu memang berhasil, tetapi tantangan sebenarnya adalah agar LLM dapat berinteraksi dengan alat baru tanpa perlu penyetelan ulang atau demonstrasi few-shot.

Ketika dua alat sangat mirip, bisa sangat menantang bagi LLM untuk memilih yang tepat untuk mencapai tujuannya. Metode saat ini yang memberikan beberapa contoh few-shot untuk setiap alat dapat menghabiskan banyak jendela konteks yang tersedia untuk LLM juga.

ToolVerifier adalah metode self-verification yang memungkinkan LLM untuk bertanya pada dirinya sendiri sehingga dapat menentukan alat yang akan digunakan dan parameter apa yang harus dilewatkan ke alat tersebut.

Untuk membantu LLM, ToolVerifier pertama-tama memilih alat yang paling sesuai dari berbagai pilihan dan kemudian menghasilkan parameter yang sesuai. Pada setiap langkah ini, ia menghasilkan pertanyaan untuk membantu mengevaluasi pilihannya dan membedakan antara alat kandidat yang mirip.

Berikut adalah contoh dari paper penelitian yang menunjukkan proses pemilihan alat dan klarifikasi parameter. ToolVerifier pertama-tama mengidentifikasi dua alat teratas dan menghasilkan pertanyaan verifikasi. Jawaban dari pertanyaan tersebut mengarah pada pilihan alat akhir. Metode serupa digunakan untuk menghasilkan parameter.

ToolVerifier dilatih dengan data yang terdiri dari daftar alat sintetis termasuk alat perjalanan, perbankan, dan kalender beserta deskripsi terkait. Ia dilatih untuk memilih alat yang sesuai berdasarkan judul dan deskripsi semata.

Setelah dilatih pada pemilihan alat dan verifikasi parameter, para peneliti menguji ToolVerifier dengan 4 tugas dari ToolBench benchmark yang memerlukan Llama 2-70B untuk berinteraksi dengan 17 alat yang sebelumnya belum pernah dilihat.

Hasil yang dipublikasikan dalam paper tersebut menyatakan bahwa menggunakan metode ToolVerifier menghasilkan "peningkatan rata-rata sebesar 22% dibandingkan dengan dasar few-shot, bahkan dalam skenario di mana perbedaan antara alat kandidat sangat halus."

Persentase (%) tingkat keberhasilan untuk tugas Cuaca, Pemesanan, Rumah, dan Kucing dari Toolbench benchmark membandingkan model dengan dan tanpa ToolVerifier.

Hasil menunjukkan bahwa ToolVerifier memberikan peningkatan yang signifikan dalam pemilihan alat LLM dan generasi parameter yang akurat. Metode ini hanya dilatih dan diuji untuk interaksi alat tunggal daripada multi-alat, tetapi tetap menjanjikan.

LLMs yang ditambah alat adalah perkembangan menarik dalam menggunakan kecerdasan buatan sebagai agen umum. Begitu LLMs belajar menggunakan beberapa alat untuk mencapai tujuan, mereka akan menjadi lebih berguna bagi kita daripada sebelumnya.

Masa depan di mana asisten kecerdasan buatan memesan penerbangan, mengkoordinasikan pertemuan, atau berbelanja bahan makanan untuk Anda, tampaknya tidak terlalu jauh.