The Effect of Missing Data Treatment on Mantel-Haenszel DIF Detection

Most implementations of the Mantel-Haenszel differential item functioning procedure delete records with missing responses or replace missing responses with scores of 0. These treatments of missing data make strong assumptions about the causes of the missing data. Such assumptions may be particularly problematic when groups differ in their patterns of nonresponse. Using both real data from Ontario students taking the English- and French-language versions of two large-scale assessments and simulated data, this study compared the Mantel-Haenszel DIF indices produced using a total score or a proportion score as matching variables and treating missing data by listwise deletion, analysiswise deletion, or scoring missing data as incorrect. The results suggest that when many responses are missing, differential nonresponse rates may be a source of DIF. La plupart des mises en oeuvre de la methode du fonctionnement differentiel des items de MantelHaenszel suppriment les observations ayant des reponses qui manquent ou bien elles remplacent les reponses manquantes par un 0. Ces facons de traiter l'information manquante repose sur des hypotheses quant aux causes des lacunes, hypotheses qui pourraient s'averer particulierement inquietantes quand l'absence de reponse chez les differents groupes suit un schema distinct. En nous appuyant tant sur des donnees reelles d'eleves de l'Ontario ayant passe les versions en anglais et en francais de deux evaluations a grande echelle, que sur des donnees simulees, nous avons compare les indices de la methode du fonctionnement differentiel des items de MantelHaenszel produits par l'emploi d'un score total ou d'un score de proportion comme variables appariees et en traitant les donnees manquantes de trois facons : suppression de toutes les observations comportant au moins une valeur manquante; calcul de la correlation pour chaque couple de variables a partir des donnees disponibles; ou consideration des donnees manquantes comme des erreurs. Les resultats portent a croire que lorsqu'il manque plusieurs reponses, les taux differentiels d'absence de reponse peuvent constituer une source de fonctionnement differentiel des items.