Estimating Coherency between Survey Data and Incentivized Experimental Data

Imagine the situation in which an econometrician can infer the distribution of welfare gains induced by the provision of higher education financial aid using survey data obtained from a set of individuals, and can estimate the same distribution using a highly incentivized field experiment in which the same set of individuals participated. In the experimental setting relying on incentivized choices, making the wrong decision can be costly. In the survey, the stakes are null and reporting false intentions and expectations is costless. In this paper, we evaluate the extent to which the decomposition of the two welfare gain distributions into latent factors are coherent. We find that individuals often put a much different weight to a specific set of determinants in the experiment and in the survey and that the valuations of financial aid are rank incoherent. About 66% of Biased Incoherency (defined as the tendency to have a higher valuation rank in the experiment than in the survey) is explained by individual heterogeneity in subjective benefits, costs and other factors and about half of these factors affect the welfare gains of financial aid in the survey and in the experiment in opposite directions. Ex-ante policy evaluation of a potential expansion of the higher education financial aid system may therefore depend heavily on whether or not the data have been obtained in an incentivized context. Imaginez la situation dans laquelle un econometre peut deduire la distribution des gains de bien-etre induits par l'octroi d'une aide financiere a l'enseignement superieur a l'aide de donnees d'enquete obtenues aupres d'un ensemble d'individus, et peut estimer la meme distribution a l'aide d'une experience de terrain fortement incitative a laquelle le meme ensemble d'individus a participe. Dans le cadre experimental reposant sur des choix incitatifs, prendre une mauvaise decision peut etre couteux. Dans l'enquete, l'enjeu est nul et la declaration de fausses intentions et attentes est sans cout. Dans cet article, nous evaluons dans quelle mesure la decomposition des deux distributions de gains de bien-etre en facteurs latents est coherente. Nous constatons que les individus accordent souvent un poids tres different a un ensemble specifique de determinants dans l'experience et dans l'enquete et que les evaluations de l'aide financiere sont incoherentes. Environ 66% de l'incoherence biaisee (definie comme la tendance a avoir un rang d'evaluation plus eleve dans l'experience que dans l'enquete) s'explique par l'heterogeneite individuelle des avantages subjectifs, des couts et d'autres facteurs et environ la moitie de ces facteurs affectent les gains de bien-etre de l'aide financiere dans l'enquete et dans l'experience dans des directions opposees. L'evaluation politique ex ante d'une expansion potentielle du systeme d'aide financiere a l'enseignement superieur peut donc dependre fortement du fait que les donnees ont ete obtenues ou non dans un contexte incitatif.