Keuntungan Besar yang Ditawarkan oleh GPT-4V dalam Pemilihan Uji Klinis
GPT-4V offers big benefits in clinical trial screening https://dailyai.com/2024/02/gpt-4v-offers-big-benefits-in-clinical-trial-screening/

Keterangan Gambar : Keuntungan Besar yan

Penyaringan pasien untuk menemukan peserta yang cocok untuk uji klinis adalah tugas yang memakan waktu, mahal, dan rentan terhadap kesalahan, tetapi kecerdasan buatan (AI) bisa segera mengatasi hal tersebut.

Sebuah tim peneliti dari Brigham and Women’s Hospital, Harvard Medical School, dan Mass General Brigham Personalized Medicine, melakukan studi untuk melihat apakah model AI bisa memproses catatan medis untuk menemukan kandidat uji klinis yang cocok.

Mereka menggunakan GPT-4V, LLM dari OpenAI dengan pemrosesan gambar, yang didukung oleh Retrieval-Augmented Generation (RAG) untuk memproses catatan kesehatan elektronik (EHR) dan catatan klinis calon peserta.

LLM dipersiapkan sebelumnya menggunakan kumpulan data tetap dan hanya dapat menjawab pertanyaan berdasarkan data tersebut. RAG adalah teknik yang memungkinkan LLM untuk mengambil data dari sumber data eksternal seperti internet atau dokumen internal organisasi.

Ketika peserta dipilih untuk uji klinis, kesesuaian mereka ditentukan oleh daftar kriteria inklusi dan eksklusi. Ini biasanya melibatkan staf terlatih yang menyaring EHR ratusan atau ribuan pasien untuk menemukan yang sesuai dengan kriteria.

Para peneliti mengumpulkan data dari sebuah uji coba yang bertujuan merekrut pasien dengan gagal jantung simtomatik. Mereka menggunakan data tersebut untuk melihat apakah GPT-4V dengan RAG bisa melakukan pekerjaan dengan lebih efisien daripada staf studi sambil mempertahankan akurasi.

Data terstruktur dalam EHR calon peserta bisa digunakan untuk menentukan 5 dari 6 kriteria inklusi dan 5 dari 17 kriteria eksklusi untuk uji klinis. Itu adalah bagian yang mudah.

13 kriteria yang tersisa perlu ditentukan dengan memeriksa data tak terstruktur dalam catatan klinis masing-masing pasien, yang merupakan bagian yang memakan waktu yang para peneliti harapkan AI bisa membantu.

Hasil

Para peneliti pertama-tama mendapatkan penilaian terstruktur yang dilengkapi oleh staf studi dan catatan klinis selama dua tahun terakhir.

Mereka mengembangkan alur kerja untuk sistem tanya jawab berbasis catatan klinis yang didukung oleh arsitektur RAG dan GPT-4V dan menyebut alur kerja ini sebagai RECTIFIER (RAG-Enabled Clinical Trial Infrastructure for Inclusion Exclusion Review).

Catatan dari 100 pasien digunakan sebagai kumpulan data pengembangan, 282 pasien sebagai kumpulan data validasi, dan 1894 pasien sebagai kumpulan data uji.

Seorang klinisi ahli menyelesaikan tinjauan buta dari catatan pasien untuk menjawab pertanyaan kelayakan dan menentukan jawaban "standar emas". Ini kemudian dibandingkan dengan jawaban dari staf studi dan RECTIFIER berdasarkan kriteria berikut:

Sensitivitas – Kemampuan tes untuk mengidentifikasi dengan benar pasien yang memenuhi syarat untuk uji klinis (positif benar).

Spesifisitas – Kemampuan tes untuk mengidentifikasi dengan benar pasien yang tidak memenuhi syarat untuk uji klinis (negatif benar).

Akurasi – Proporsi keseluruhan klasifikasi yang benar (baik positif benar maupun negatif benar).

Koefisien korelasi Matthews (MCC) – Metrik yang digunakan untuk mengukur seberapa baik model tersebut dalam memilih atau mengecualikan seseorang. Nilai 0 sama dengan lemparan koin dan 1 mewakili mendapatkan jawaban benar 100% dari waktu.

Metrik kinerja RECTIFIER dan Staf Studi untuk menentukan keseluruhan kelayakan berdasarkan 13 pertanyaan dalam kumpulan data uji. Sumber: arXiv

RECTIFIER berkinerja sama baiknya, dan dalam beberapa kasus lebih baik, daripada staf studi. Mungkin hasil yang paling signifikan dari studi ini datang dari perbandingan biaya.

Meskipun tidak ada angka yang diberikan untuk remunerasi staf studi, itu pasti jauh lebih tinggi daripada biaya menggunakan GPT-4V yang bervariasi antara $0.02 dan $0.10 per pasien. Menggunakan AI untuk mengevaluasi sekelompok 1.000 calon peserta akan memakan waktu beberapa menit dan biaya sekitar $100.

Para peneliti menyimpulkan bahwa menggunakan model AI seperti GPT-4V dengan RAG dapat mempertahankan atau meningkatkan akurasi dalam mengidentifikasi kandidat uji klinis, dan melakukannya dengan lebih efisien dan jauh lebih murah daripada menggunakan staf manusia.

Mereka mencatat perlunya kehati-hatian dalam menyerahkan perawatan medis kepada sistem otomatis, tetapi tampaknya AI akan melakukan pekerjaan yang lebih baik daripada kita jika diarahkan dengan benar.