تقييم GPT-4 لقوائم التشخيص: ماذا تعني نسبة 82.1%؟

قوائم التشخيص المحتمل كانت محور دراسة يابانية اختبرت اتفاق GPT-4 مع الأطباء في تقييم وجود التشخيص النهائي داخلها. تصف نسبة 82.1% هذا الاتفاق، ولا تعني أن النموذج شخّص مرضى عيادة بهذه الدقة.

قوائم التشخيص — من أجرى الدراسة؟

نشر تاكانوبو هيروساوا ويوكينوري هارادا وكازويا ميزوتا وتيتسو ساكاموتو وكازوكي توكوماسو وتارو شيميزو الدراسة في JMIR Formative Research في 26 يونيو 2024. ارتبط الفريق بجامعتي دوكيو وأوكاياما في اليابان.

البيانات والمقارنة

استُخدمت 392 حالة منشورة لتكوين 1,176 قائمة من GPT-4 وBard وLLaMA2. قيّم GPT-4 وجود التشخيص النهائي في القوائم، وقارن الباحثون تقييمه بطبيبين مستقلين، مع طبيب ثالث لحسم الخلاف.

النتيجة الفعلية

اتفق تقييم GPT-4 مع تقييم الأطباء في 966 من 1,176 قائمة، أي 82.1%، ومعامل كابا 0.63 وفاصل ثقة 0.56–0.69. النتيجة تقيس الاتفاق في مهمة تقييم القوائم، وليس احتمال صحة أول تشخيص يقدمه النموذج للمستخدم.

حدود التعميم والصلة بالحلقة

تقارير الحالات المنشورة عينة مختارة، والتجربة لا تشمل مقابلة مرضى أو فحصهم. يعرض الدحيح الرقم ضمن احتمالات التشخيص؛ نفصل هنا صياغة المقطع عن المقياس المنشور. لا تُستبدل بذلك نتيجة دراسة أخرى عن توليد التشخيصات أو تفسير نفس الرقم كمعدل علاج ناجح.

للتوثيق والتفاصيل، راجع المرجع الأصلي المذكور في قائمة المصادر.