Interobserver Agreement in the Clinical Assessment of Children With Blunt Abdominal Trauma

Objectives The objective was to determine the interobserver agreement of historical and physical examination findings assessed during the emergency department (ED) evaluation of children with blunt abdominal trauma. Methods This was a planned substudy of a multicenter, prospective cohort study of children younger than 18 years of age evaluated for blunt abdominal trauma. Patients were excluded if injury occurred more than 24 hours prior to evaluation or if computed tomography (CT) imaging was obtained at another hospital prior to transfer to a study site. Two clinicians independently recorded their clinical assessments of a convenience sample of patients onto data collection forms within 60 minutes of each other and prior to CT imaging (if obtained) or knowledge of laboratory results. The authors categorized variables as either subjective symptoms (i.e., patient history) or objective findings (i.e., physical examination). For each variable recorded by the two observers, the agreement beyond that expected by chance was estimated, using the kappa (κ) statistic for categorical variables and weighted κ for ordinal variables. Variables with 95% lower confidence limits (LCLs) κ ≥ 0.4 (moderate agreement or better) were considered to have acceptable agreement. Results A total of 632 pairs of physician observations were obtained on 23 candidate variables. Acceptable agreement was achieved in 16 (70%) of the 23 variables tested. For six subjective symptoms, κ ranged from 0.48 (complaint of shortness of breath) to 0.90 (mechanism of injury), and only the complaint of shortness of breath had a 95% LCL κ < 0.4. For the 17 objective findings, κ ranged from –0.01 (pelvis instability) to 0.82 (seat belt sign present). The 95% LCL for κ was <0.4 for flank tenderness, abnormal chest auscultation, suspicion of alcohol or drug intoxication, pelvis instability, absence of bowel sounds, and peritoneal irritation. Conclusions Observers can achieve at least acceptable agreement on the majority of historical and physical examination variables in children with blunt abdominal trauma evaluated in the ED. Those variables are candidates for consideration for development of a clinical prediction rule for intra-abdominal injury in children with blunt trauma. Resumen Concordancia Interobservador en la Valoracion Clinica de los Ninos con Traumatismo Abdominal Cerrado Objetivos Determinar la concordancia interobservador de los hallazgos de la historia clinica y la exploracion fisica obtenidos durante la valoracion de los ninos con traumatismo abdominal de alta energia en el servicio de urgencias (SU). Metodologia Se diseno un subestudio de un estudio de cohorte prospectivo y multicentrico de ninos de 18 anos o menos evaluados por traumatismo abdominal cerrado. Se excluyeron los pacientes si el traumatismo habia ocurrido mas de 24 horas antes de la primera valoracion, o si las imagenes de la tomografia computarizada (TC) se obtuvieron en otro hospital previamente a trasladarse al lugar del estudio. Dos clinicos recogieron de forma independiente su valoracion clinica en un formulario de datos, de una muestra de conveniencia de pacientes, en los primeros 60 minutos, y previamente a las imagenes de la TC (si esta se realizo) o al conocimiento de los resultados del laboratorio. Se clasificaron las variables como sintomas subjetivos (ej.: historia del paciente) o hallazgos objetivos (ej.: exploracion fisica). Para cada variable recogida por los dos observadores, se estimo la concordancia mas alla de la esperada por el azar usando el indice kappa (κ) para las variables categoricas y indice κ ponderado para las variables ordinales. Se considero que existia una concordancia aceptable para las variables con una κ ≥ 0,4 (concordancia moderada o buena) en el limite inferior del intervalo de confianza del 95% (IC 95%). Resultados Se obtuvieron 632 pares de observaciones clinicas en 23 variables candidatas. Se alcanzo la concordancia aceptable en 16 (70%) de ellas. Para los seis sintomas subjetivos, el rango de κ fue de 0,48 (queja de dificultad respiratoria) a 0,90 (mecanismo de la lesion), y solo la queja de dificultad respiratoria tuvo una κ < 0,4 en el limite inferior del IC 95%. Para los 17 hallazgos objetivos, el rango de κ fue desde -0,01 (inestabilidad pelvis) a 0,82 (presencia del signo del cinturon de seguridad). El dolor en el flanco, la auscultacion toracica alterada, la sospecha de intoxicacion por alcohol o toxicos, la inestabilidad de pelvis, la ausencia de ruidos intestinales y la irritacion peritoneal tuvieron una κ < 0,4 en el limite inferior del IC 95%. Conclusiones Los observadores pueden alcanzar al menos una concordancia aceptable en la mayoria de las variables de la historia clinica y la exploracion fisica en los ninos con traumatismo abdominal cerrado evaluado en el SU. Estas variables son candidatas para considerarse en el desarrollo de una regla de prediccion clinica para la lesion intrabdominal en los ninos con traumatismo de cerrado.