Evidencias de validez de las preguntas de opción múltiple diseñadas por Microsoft Bing (Copilot)
Resumen: Introducción: diseñar preguntas de opción múltiple (POM) con Microsoft Bing (Copilot) para evaluar su calidad e índices psicométricos en educación médica. Material y métodos: se diseñó un examen de 180 preguntas con Microsoft Bing. Este fue evaluado por educadores médicos en términos de re...
Saved in:
| Main Authors: | , , , , , |
|---|---|
| Format: | Article |
| Language: | English |
| Published: |
Elsevier
2024-11-01
|
| Series: | Educación Médica |
| Subjects: | |
| Online Access: | http://www.sciencedirect.com/science/article/pii/S1575181324000652 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| _version_ | 1850105720963334144 |
|---|---|
| author | Javier A. Flores-Cohaila Ramón Ruesta-Bermejo Carlos Gutierrez-Rios Carlos Ramos-Godoy Brayan Miranda-Chávez Cesar Copaja-Corzo |
| author_facet | Javier A. Flores-Cohaila Ramón Ruesta-Bermejo Carlos Gutierrez-Rios Carlos Ramos-Godoy Brayan Miranda-Chávez Cesar Copaja-Corzo |
| author_sort | Javier A. Flores-Cohaila |
| collection | DOAJ |
| description | Resumen: Introducción: diseñar preguntas de opción múltiple (POM) con Microsoft Bing (Copilot) para evaluar su calidad e índices psicométricos en educación médica. Material y métodos: se diseñó un examen de 180 preguntas con Microsoft Bing. Este fue evaluado por educadores médicos en términos de relevancia y calidad de distractores. Luego, tras administrarse a estudiantes, se calcularon los índices de dificultad y discriminación. Resultados: la mayoría de preguntas fueron de alta relevancia y los distractores de alta calidad. Los índices de discriminación y dificultad de las preguntas fueron aceptables en la mayoría de preguntas. Conclusión: Microsoft Bing (Copilot) podría usarse como sustituto de ChatGPT para el diseño de POM dadas las evidencias de validez recolectadas en el estudio. Abstract: Introduction: To design multiple-choice questions (MCQs) using Microsoft Bing (Copilot) and evaluate their quality and psychometric indices in medical education. Materials and methods: A 180-question exam was designed using Microsoft Bing. It was evaluated by medical educators in terms of relevance and distractor quality. After administering the exam to students, difficulty and discrimination indices were calculated. Results: Most questions were highly relevant, and the distractors were of high quality. The discrimination and difficulty indices were acceptable for the majority of the questions. Conclusion: Microsoft Bing (Copilot) could be used as a substitute for ChatGPT in designing MCQs, given the evidence of validity collected in the study. |
| format | Article |
| id | doaj-art-42ac3e63d0bb46398435dac81e4349e7 |
| institution | OA Journals |
| issn | 1575-1813 |
| language | English |
| publishDate | 2024-11-01 |
| publisher | Elsevier |
| record_format | Article |
| series | Educación Médica |
| spelling | doaj-art-42ac3e63d0bb46398435dac81e4349e72025-08-20T02:38:59ZengElsevierEducación Médica1575-18132024-11-0125610095010.1016/j.edumed.2024.100950Evidencias de validez de las preguntas de opción múltiple diseñadas por Microsoft Bing (Copilot)Javier A. Flores-Cohaila0Ramón Ruesta-Bermejo1Carlos Gutierrez-Rios2Carlos Ramos-Godoy3Brayan Miranda-Chávez4Cesar Copaja-Corzo5Departamento Académico, Medical Education Services USAMEDIC, Lima, Perú; Carrera de Medicina Humana, Universidad Científica del Sur, Lima, Perú; Autor para correspondencia.Departamento Académico, Medical Education Services USAMEDIC, Lima, PerúEscuela Profesional de Medicina Humana, Universidad Privada San Juan Bautista, Lima, PerúDepartamento Académico, Medical Education Services USAMEDIC, Lima, PerúCentro de Investigación de Educación Médica y Bioética - EDUCAB-UPT, Facultad de Ciencias de la Salud, Universidad Privada de Tacna, Tacna, PerúUnidad de Investigación para la Generación y Síntesis de Evidencias en Salud, Universidad San Ignacio de Loyola, Lima, Perú; Servicio de infectología, Hospital Nacional Edgardo Rebagliati Martins, EsSalud, Lima, PerúResumen: Introducción: diseñar preguntas de opción múltiple (POM) con Microsoft Bing (Copilot) para evaluar su calidad e índices psicométricos en educación médica. Material y métodos: se diseñó un examen de 180 preguntas con Microsoft Bing. Este fue evaluado por educadores médicos en términos de relevancia y calidad de distractores. Luego, tras administrarse a estudiantes, se calcularon los índices de dificultad y discriminación. Resultados: la mayoría de preguntas fueron de alta relevancia y los distractores de alta calidad. Los índices de discriminación y dificultad de las preguntas fueron aceptables en la mayoría de preguntas. Conclusión: Microsoft Bing (Copilot) podría usarse como sustituto de ChatGPT para el diseño de POM dadas las evidencias de validez recolectadas en el estudio. Abstract: Introduction: To design multiple-choice questions (MCQs) using Microsoft Bing (Copilot) and evaluate their quality and psychometric indices in medical education. Materials and methods: A 180-question exam was designed using Microsoft Bing. It was evaluated by medical educators in terms of relevance and distractor quality. After administering the exam to students, difficulty and discrimination indices were calculated. Results: Most questions were highly relevant, and the distractors were of high quality. The discrimination and difficulty indices were acceptable for the majority of the questions. Conclusion: Microsoft Bing (Copilot) could be used as a substitute for ChatGPT in designing MCQs, given the evidence of validity collected in the study.http://www.sciencedirect.com/science/article/pii/S1575181324000652Medical educationAssessmentArtificial IntelligenceChatGPTMultiple-choice questionsPeru |
| spellingShingle | Javier A. Flores-Cohaila Ramón Ruesta-Bermejo Carlos Gutierrez-Rios Carlos Ramos-Godoy Brayan Miranda-Chávez Cesar Copaja-Corzo Evidencias de validez de las preguntas de opción múltiple diseñadas por Microsoft Bing (Copilot) Educación Médica Medical education Assessment Artificial Intelligence ChatGPT Multiple-choice questions Peru |
| title | Evidencias de validez de las preguntas de opción múltiple diseñadas por Microsoft Bing (Copilot) |
| title_full | Evidencias de validez de las preguntas de opción múltiple diseñadas por Microsoft Bing (Copilot) |
| title_fullStr | Evidencias de validez de las preguntas de opción múltiple diseñadas por Microsoft Bing (Copilot) |
| title_full_unstemmed | Evidencias de validez de las preguntas de opción múltiple diseñadas por Microsoft Bing (Copilot) |
| title_short | Evidencias de validez de las preguntas de opción múltiple diseñadas por Microsoft Bing (Copilot) |
| title_sort | evidencias de validez de las preguntas de opcion multiple disenadas por microsoft bing copilot |
| topic | Medical education Assessment Artificial Intelligence ChatGPT Multiple-choice questions Peru |
| url | http://www.sciencedirect.com/science/article/pii/S1575181324000652 |
| work_keys_str_mv | AT javieraflorescohaila evidenciasdevalidezdelaspreguntasdeopcionmultipledisenadaspormicrosoftbingcopilot AT ramonruestabermejo evidenciasdevalidezdelaspreguntasdeopcionmultipledisenadaspormicrosoftbingcopilot AT carlosgutierrezrios evidenciasdevalidezdelaspreguntasdeopcionmultipledisenadaspormicrosoftbingcopilot AT carlosramosgodoy evidenciasdevalidezdelaspreguntasdeopcionmultipledisenadaspormicrosoftbingcopilot AT brayanmirandachavez evidenciasdevalidezdelaspreguntasdeopcionmultipledisenadaspormicrosoftbingcopilot AT cesarcopajacorzo evidenciasdevalidezdelaspreguntasdeopcionmultipledisenadaspormicrosoftbingcopilot |