Kecerdasan ChatGPT Diuji, Unggul di Matematika hingga Esai

Pengguna aktif bulanan (monthly active users/MAUs) layanan chatbot bikinan OpenAI ini diklaim sudah tembus 100 juta orang per Januari 2023.

Salah satu yang menjadi daya tarik ChatGPT adalah kemampuan chatbot AI ini dalam menjawab pertanyaan pengguna secara luwes, tak seperti chatbot pada umumnya yang kaku seperti robot.

Secara umum, ChatGPT mampu menyelesaikan beragam tugas/perintah dan mendukung 95 bahasa. Tak heran bila ChatGPT akhirnya dimanfaatkan untuk mengerjakan pekerjaan rumah (PR), tugas, atau memudahkan pekerjaan lainnya.

Yang menjadi pertanyaan, sebenarnya seberapa pintar ChatGPT ini?

OpenAI juga sudah memperkenalkan program AI language model terbarunya, yaitu GPT-4 yang disebut lebih pintar ketimbang ChatGPT.

Untuk melihat "kepintaran" keduanya, OpenAI menguji kemampuan ChatGPT (GPT-3.5) dan GPT-4 dengan ujian profesional dan akademik yang biasa digunakan di Amerika Serikat.

Pengujian tersebut termasuk ujian Scholastic Aptitude Test (SAT), ujian bar, Graduate Record Exam (GRE), hingga berbagai ujian Advanced Placement (AP).

Total ada 16 kategori ujian yang diuji kepada ChatGPT. Hasil pengujiannya pun di visualisasikan oleh Visual Capitalist.

Unggul di matematika, biologi, hingga penulisan essai

Dari infografik yang dipublikasi Visual Capitalist, ChatGPT terlihat unggul dalam enam kategori ujian, yaitu Verbal (GRE), Evidence-based reading & writing (SAT), Matematika (SAT), Biologi (AP), Psikologi (AP), Penulisan/essai (GRE).

Dalam keenam kategori tersebut, ChatGPT mendapatkan skor di atas 50 persentil. Dari 6 kategori tersebut, ChatGPT paling unggul di ujian evidence-based reading & writing (SAT) dengan skor 87 persentil.

Persentil ini menjelaskan peringkat skor peserta ujian dibandingkan dengan yang lain.

Misalnya, bila ChatGPT mendapatkan 87 persentil di kategori evidence-based reading & writing (SAT), maka artinya sebanyak 87 persen peserta ujian lainnya mendapatkan skor lebih rendah dibandingkan ChatGPT. Lalu ada 13 persen peserta ujian yang memiliki skor lebih tinggi dibandingkan ChatGPT.

Persentil tersebut didasarkan pada distribusi skor terbaru yang tersedia untuk peserta ujian dari setiap jenis ujian. Dalam kasus ini, hasil ujian ChatGPT (GPT-3.5) dibandingkan dengan milik siswa/mahasiswa AS yang baru-baru ini mengikuti ujian yang sama.

Dari hasil pengujian, terlihat ChatGPT lemah dalam tiga kategori ujian, yaitu ujian bar, literatur Inggris, dan codeforses rating (programming).

ChatGPT mendapatkan skor di bawah 10 persentil untuk tiga kategori ujian tersebut. Artinya, ada 90 persen peserta ujian lain yang memiliki skor lebih tinggi dibandingkan ChatGPT.

GPT-4 ini akan menjadi suksesor dari GPT-3.5, model AI yang saat ini tertanam di chatbot ChatGPT. Sebagai suksesor, GPT-4 diklaim lebih cerdas dan dapat menjawab sejumlah pertanyaan dan perintah pengguna yang lebih kompleks dibanding GPT-3.5.

Secara detail, GPT-4 disebut bisa menampung sekitar 25.000 kata dalam sekali pemrosesan, sekitar delapan kali lebih banyak dibanding versi sebelumnya.

Selain itu, GPT-4 juga disebut lebih pintar, akurat, kreatif, dan kini dapat merespons pertanyaan pengguna yang berasal dari sebuah gambar di ChatGPT.

Dari infografis yang dipublikasi Visual Capitalis, terlihat bahwa GPT-4 memang lebih unggul dibandingkan ChatGPT. Pasalnya, GPT-4 mampu mendapatkan lebih dari 50 persentil di 12 kategori ujian.

Adapun GPT-4 paling "pintar" di kategori ujian, sebagaimana dihimpun KompasTekno dari situs VisualCapitalist, Rabu (3/5/2023):

• Verbal (99 persentil)
• Evidence-based reading & writing (93 persentil)
• Ujian bar (90 persentil)
• Matematika (89 persentil)
• Law School Admission Test (88 persentil)
• Biologi (85 persentil)
• Statistik (85 persentil)

Selengkapnya, tingkat kepintaran ChatGPT (GPT-3.5) dan GPT-4 di 16 kategori ujian profesional dan akademik bisa dilihat melalui infografik berikut ini: