ChatGPT Mampu Jawab Soal Ujian Radiologi yang Butuh Pemikiran Tingkat Tinggi

TIM peneliti dari University Medical Imaging Toronto baru-baru ini memperlihatkan bahwa chatbot ChatGPT yang memiliki teknologi kecerdasan buatan (AI) dapat menjawab soal-soal ujian radiologi. Penelitian ini menunjukkan potensi dari algoritma large language model dalam menjawab pertanyaan sekaligus batasan yang dimiliki ChatGPT.

Tim peneliti ini memberikan 150 soal pilihan ganda yang didesain dengan tingkat kesulitan, isi konten, dan model soal seperti yang diterapkan dalam ujian radiologi di Canadian Royal College dan American Board of Radiology.

Hasilnya, chatbot tersebut berhasil menjawab 121 dari 150 soal dengan benar yang termasuk soal yang bersifat high order thinking (kemampuan berpikir tingkat tinggi). Para peneliti ini menggunakan versi ChatGPT terbaru yaitu GPT-4.

Baca juga: Waw ChatGPT Bikin Menu Diet! Berikut Pandangan Dari Pakar

Hasil yang ditunjukan GPT-4 lebih baik dibandingkan versi sebelumnya yaitu GPT-3.5 yang umum digunakan masyarakat. GPT-3.5 hanya menjawab 104 soal dengan benar serta mengalami kesulitan dalam menjawab soal high order thinking.

"Riset kami menunjukkan peningkatan mengagumkan terkait performa ChatGPT pada radiologi selama periode waktu yang singkat, hal tersebut menyoroti pertumbuhan potensi dari large language model dalam konteks ini," ungkap kepala tim penelitian Rajesh Bhayana.

Baca juga: 8 Fakta dan Cara Kerja Google Bard, Saingannya ChatGPT

Meskipun demikian, penelitian ini juga menunjukkan batasan yang dimiliki oleh ChatGPT terbaru. Hal ini terlihat dari GPT-4 salah dalam menjawab 12 soal yang apat dijawab dengan benar oleh GPT-3.5. Hasil ini tentu telah menimbulkan keraguan terkait dengan ketepatan GPT-4 dalam mengumpulkan informasi.

Selain itu, hasil penelitian tersebut juga menunjukkan ChatGPT menggunakan bahasa yang meyakinkan dalam menjawab pertanyaan sekalipun jawaban ini sangat tidak tepat. Hal ini tentu akan sangat berbahaya jika informasi yang disajikan ChatGPT diyakini oleh masyarakat terutama bagi orang-orang awam.

"Bagi saya, ini adalah batasan terbesarnya. Saat ini ChatGPT sebaiknya digunakan untuk mencari ide, membantu proses pembuatan tulisan medis, dan membuat ringkasan data. Jika digunakan untuk mendapatkan informasi cepat, perlu diuji kembali kebenarannya," tandas Rajesh. (Z-10)