How does ChatGPT perform on the european board of pediatric surgery examination? A randomized comparative study

Abstract

Purpose: The purpose of this study was to conduct a detailed comparison of the accuracy and responsiveness of GPT-3.5 and GPT-4 in the realm of pediatric surgery. Specifically, we sought to assess their ability to correctly answer a series of sample questions of European Board of Pediatric Surgery (EBPS) exam. Methods: This study was conducted between 20 May 2023 and 30 May 2023. This study undertook a comparative analysis of two AI language models, GPT-3.5 and GPT-4, in the field of pediatric surgery, particularly in the context of EBPS exam sample questions. Two sets of 105 (total 210) sample questions each, derived from the EBPS sample questions, were collated. Results: In General Pediatric Surgery, GPT-3.5 provided correct answers for 7 questions (46.7%), and GPT-4 had a higher accuracy with 13 correct responses (86.7%) (p=0.020). For Newborn Surgery and Pediatric Urology, GPT-3.5 correctly answered 6 questions (40.0%), and GPT-4, however, correctly answered 12 questions (80.0%) (p= 0.025). In total, GPT-3.5 correctly answered 46 questions out of 105 (43.8%), and GPT-4 showed significantly better performance, correctly answering 80 questions (76.2%) (p<0.001). Given the total responses, when GPT-4 was compared with GPT-3.5, the Odds Ratio was found to be 4.1. This suggests that GPT-4 was 4.1 times more likely to provide a correct answer to the pediatric surgery questions compared to GPT-3.5. Conclusion: This comparative study concludes that GPT-4 significantly outperforms GPT-3.5 in responding to EBPS exam questions.

Introducción: El propósito de este estudio fue realizar una comparación detallada de la precisión y capacidad de respuesta de GPT3.5 y GPT-4 en el ámbito de la cirugía pediátrica. En concreto, pretendíamos evaluar su capacidad para responder correctamente a una serie de preguntas de muestra del examen del European Board of Pediatric Surgery (EBPS). Métodos: Este estudio se llevó a cabo entre el 20 de mayo de 2023 y el 30 de mayo de 2023. Este estudio llevó a cabo un análisis comparativo de dos modelos de lenguaje de IA, GPT-3.5 y GPT-4, en el campo de la cirugía pediátrica, particularmente en el contexto de las preguntas de muestra del examen EBPS. Se cotejaron dos conjuntos de 105 (210 en total) preguntas de muestra cada uno, derivadas de las preguntas de muestra del EBPS. Resultados: En Cirugía Pediátrica General, la GPT-3.5 proporcionó respuestas correctas para 7 preguntas (46,7%), y la GPT-4 tuvo una mayor precisión con 13 respuestas correctas (86,7%) (p=0,020). Para Cirugía neonatal y Urología pediátrica, la GPT3.5 respondió correctamente a 6 preguntas (40,0%), y la GPT-4, sin embargo, respondió correctamente a 12 preguntas (80,0%) (p= 0,025). En total, la GPT-3.5 respondió correctamente a 46 preguntas de 105 (43,8%), y la GPT-4 mostró un rendimiento significativamente mejor, respondiendo correctamente a 80 preguntas (76,2%) (p<0,001). Teniendo en cuenta el total de respuestas, cuando se comparó la GPT-4 con la GPT-3.5, se observó que la Odds Ratio era de 4,1. Esto sugiere que la GPT-4 era 4,2 veces más eficaz que la GPT-3.5. Esto sugiere que GPT-4 tenía 4,1 veces más probabilidades de proporcionar una respuesta correcta a las preguntas de cirugía pediátrica en comparación con GPT-3.5. Conclusiones: Este estudio comparativo concluye que GPT-4 supera significativamente a GPT-3.5 a la hora de responder a las preguntas del examen EBPS