Ketika ChatGPT Jadi Dokter Anak, Diagnosisnya Amburadul

KOMPAS.com - Chatbot kecerdasan buatan (artificial intelligence/AI) macam ChatGPT memang pintar dan mampu menjawab banyak hal. Namun, kepintarannya tetap terbatas, termasuk dalam hal diagnosis penyakit.

Hal ini juga dibuktikan oleh studi baru dari para peneliti di Cohen Children's Medical Center, New York, Amerika Serikat (AS). Studi ini diterbitkan di jurnal JAMA Pediatrics pada 2 januari 2024.

Dalam studinya, para peneliti menganalisis respons ChatGPT tentang permintaan diagnosis penyakit anak. Hasilnya, diagnosis ChatGPT amburadul dengan tingkat kesalahan sampai 83 persen di semua pengujian.

Baca juga: Rutinitas Sam ChatGPT Altman, Puasa 15 Jam dan Lebih Suka Meeting Sore

Awalnya, peneliti memakai 100 sampel dari kasus pediatrik (penyakit anak/bayi) yang dipublikasikan di JAMA Pediatrics dan NEJM antara tahun 2013 sampai 2023.

Kasus itu sebenarnya ditujukan untuk pembelajaran para dokter anak saja alias eksperimen, dan biasanya memiliki informasi yang cukup terbatas. Kasus ini juga memerlukan banyak hal untuk dipertimbangkan, termasuk soal usia pasien.

Belum lagi tantangan mendiagnosis anak-anak atau bayi yang sulit, karena mereka belum bisa menjelaskan gejala yang mereka rasakan.

Jadi, secara teori, ChatGPT akan kesulitan mendapatkan informasi terkait diagnosis kasus tersebut.

Nah, dari 100 kasus yang diberikan, 72 diagnosis yang dihasilkan ChatGPT salah.
Sebanyak 11 kasus lainnya dinilai terlalu umum, sehingga tidak bisa dibilang akurat untuk mendiagnosis kasus terkait.

Jadi, total kesalahan ChatGPT dalam penelitian ini sampai 83 kasus. Sebanyak 47 kasus atau sekitar 57 persen dari diagnosis yang salah, berkaitan dengan sistem organ yang sama.

Baca juga: ChatGPT Plus Moncer, Pendapatan OpenAI Tembus Rp 24 Triliun pada 2023

Contoh kesalahan diagnosis penyakit anak yang dihasilkan ChatGPT, terkait kista celah brakialis, yaitu benjolan di leher.

Padahal, diagnosis yang tepat adalah sindrom Branchio-oto-renal, yaitu kondisi genetik yang membuat anomali perkembangan jaringan di tulang selangka, leher, dan kelainan di telinga serta ginjal.

Salah satu indikasi dari kondisi penyakit itu adalah terbentuknya kista di celah brakialis. Meski begitu, chatbot bikinan OpenAI inii berhasil memberikan diagnosis yang benar untuk 17 kasus.

Pada akhirnya para peneliti menyimpulkan bahwa ChatGPT perlu pelatihan lebih lanjut dan memerlukan peran dari profesional medis.

Menurut para peneliti, chatbot itu bisa dilatih lebih lanjut dengan memberikan literatur medis khusus, selektif dan bisa dipercaya. Bukan mengandalkan informasi di internet saja yang bisa mencakup misinformasi.

Selain itu, para peneliti menilai kemampuan ChatGPT bisa ditingkatkan lagi dengan akses real-time ke data medis, guna menyempurnakan akurasinya.

"Ini memberikan peluang bagi para peneliti untuk menyelidiki apakah pelatihan dan penyesuaian data medis tertentu bisa meningkatkan diagnosis chatbot berbasis LLM," kata para peneliti, dikutip dari Ars Technica, Senin (8/1/2024).