Chatbot Khusus NVIDIA Berjalan secara Lokal di PC RTX AI...
NVIDIA’s custom chatbot runs locally on RTX AI PCs https://dailyai.com/2024/02/nvidias-custom-chatbot-runs-locally-on-rtx-ai-pcs/

Keterangan Gambar : Chatbot Khusus NVIDI

NVIDIA telah merilis Chat with RTX sebagai demo teknologi tentang bagaimana chatbot AI dapat dijalankan secara lokal pada PC Windows menggunakan GPU RTX-nya.

Biasanya, penggunaan chatbot AI dilakukan melalui platform web seperti ChatGPT atau dengan menjalankan kueri melalui API, dengan inferensi dilakukan di server cloud computing. Namun, pendekatan ini memiliki kekurangan berupa biaya, latensi, dan kekhawatiran privasi terkait data pribadi atau perusahaan yang ditransfer bolak-balik.

Sekarang, dengan adanya GPU RTX dari NVIDIA, memungkinkan untuk menjalankan LLM secara lokal di PC Windows Anda bahkan tanpa terhubung ke internet.

Chat with RTX memungkinkan pengguna untuk membuat chatbot pribadi menggunakan Mistral atau Llama 2. Ini menggunakan retrieval-augmented generation (RAG) dan perangkat lunak TensorRT-LLM yang dioptimalkan oleh NVIDIA.

Anda dapat mengarahkan Chat with RTX ke folder di PC Anda dan kemudian bertanya tentang file-file di dalam folder tersebut. Ini mendukung berbagai format file, termasuk .txt, .pdf, .doc/.docx, dan .xml.

Karena LLM menganalisis file yang disimpan secara lokal dengan inferensi yang terjadi di mesin Anda, prosesnya sangat cepat dan tidak ada data Anda yang dibagikan melalui jaringan yang mungkin tidak aman.

Anda juga dapat memberikan URL video YouTube dan bertanya tentang video tersebut. Ini memerlukan akses internet tetapi merupakan cara yang bagus untuk mendapatkan jawaban tanpa harus menonton video yang panjang.

Anda dapat mengunduh Chat with RTX secara gratis, tetapi Anda perlu menjalankan Windows 10 atau 11 di PC Anda dengan GPU GeForce RTX Seri 30 atau yang lebih tinggi, dengan minimal 8GB VRAM.

Chat with RTX adalah demo, bukan produk jadi. Ini agak bermasalah dan tidak mengingat konteks sehingga Anda tidak dapat bertanya lebih lanjut. Namun, ini merupakan contoh bagus tentang bagaimana kita akan menggunakan LLM di masa depan.

Menggunakan chatbot AI secara lokal tanpa biaya panggilan API dan dengan sedikit latensi kemungkinan akan menjadi cara interaksi yang paling umum dengan LLM di masa depan. Pendekatan open-source yang diambil oleh perusahaan seperti Meta akan mendorong penggunaan model-model gratis mereka dengan AI di perangkat, daripada model-model propietary seperti GPT.

Meskipun begitu, pengguna mobile dan laptop mungkin harus menunggu beberapa saat lagi sebelum daya komputasi dari GPU RTX dapat masuk ke perangkat yang lebih kecil.