Nivel de correlación en la evaluación de la intubación traqueal efectuada por anestesiólogos docentes y residentes de anestesiología

espanolIntroduccion.La educacion medica ha experimentado numerosos cambios. Uno de estos es el uso de la autoevaluacion para establecer la progresion de los estudiantes. Hasta donde sabemos, en la realidad chilena no existen hasta el momento estudios sobre la validez y confiabilidad del uso de la autoevaluacion en el proceso educacional. Sujetos y metodos. Las intubaciones traqueales efectuadas durante cuatro meses por los residentes de anestesia de la Pontificia Universidad Catolica de Chile se evaluaron utilizando el instrumento ‘observacion directa de procedimientos y habilidades’ (DOPS). Una vez intubado el paciente, el anestesiologo a cargo efectuo la evaluacion inmediata de la tecnica de intubacion del residente. A su vez, empleando el mismo instrumento, el residente efectuo una autoevaluacion del mismo procedimiento. El nivel de acuerdo entre anestesiologo y residente se establecio mediante el indice de correlacion intraclase (ICC). Se realizo una encuesta de opinion sobre el metodo entre los participantes. Resultados.Se evaluaron 585 intubaciones. Participaron 31 residentes y 30 anestesiologos. El ICC general fue 0,423. Este disminuyo a medida que aumentaba el nivel de experiencia de los estudiantes, y alcanzo el nivel mas bajo en los residentes de tercer ano, con un ICC de 0,39. Anestesiologos y residentes manifestaron satisfaccion con el metodo, pero poca experiencia previa. Conclusiones.El nivel de concordancia entre las evaluaciones y autoevaluaciones fue bajo. La falta de experiencia previa de los participantes pudo influir en los resultados. Para utilizar adecuadamente instrumentos de autoevaluacion, estos deberian implementarse desde etapas tempranas de la formacion. EnglishIntroduction.The medical education has experienced numerous changes. One of these is the use of self-assessment to establish students’ progress, even with summative purposes. As far as we know, in our setting there are not studies about the validity and reliability of the use of self-assessment in the educational process. Subjects and methods.The intubations performed during four months by anesthesia residents at Pontificia Universidad Catolica de Chile were assessed using the instrument Direct Observation of Procedural Skills (DOPS). Once the patient was intubated, the anesthesia staff in charge of patient’s care carried out the resident’s assessment and each student performed a self-assessment of the procedure using the same instrument. The level of agreement between staffs and students was established using intraclass correlation (ICC). An opinion survey among the participants about the method was performed. Results.585 intubations were assessed. 31 students and 30 staff participated in the study. The general ICC was 0.423. The ICC decreased according to the residents’ student year reaching the bottom at third year residents with 0.39. All participants were satisfied with the method but they pointed out the lack of previous experience. Conclusions.The agreement between staffs’ assessments and students’ self-assessment was poor. The lack of participants’ experience could affect the results. To properly use self-assessment instruments, they should be implemented in early stages of educational process.