194 Impact of assessing organ transplant failure rates on individual team performance

Background and Objectives In 2005, the French Biomedicine Agency set up a programme in which graft failure rates of individual teams were compared to the national failure rate after adjusting for disease severity. Since 2006, annual results are regularly communicated to the teams and then published on the Agency Web site. The identity of the teams is made public. An analysis of the causes of failure has been performed with the teams with a failure rate that is significantly different from the national average, and the impact of this assessment on failure rate has been studied. Our objective is to present the results obtained 3 years after publication of the first set of results, with a focus on the teams which showed the greatest deviations. Programme We determined the failure rate at 1 year, adjusted to disease severity at the time of the graft using the Cox model. The team9s adjusted failure rate was compared to the national average in a funnel plot which provides a confidence interval around the national average according to the number of grafts performed. Results Analysis of the first results has shown that graft failure rate at 1 year has much decreased since 2007 in the teams with the highest adjusted failure rates whereas the national failure rate has remained stable. Discussion The Agency9s programme is not strictly speaking a quality improvement programme since it analyses outcomes only but its end purpose is the same. It is built on the audit principle. The first Agency assessment enables the teams to acquire an objective view of their indicator levels over a reference period. The teams then carry out a diagnostic self-assessment to pinpoint dysfunctional areas and implement corrective actions without any intervention from the Agency. Despite the problems the teams may face as a consequence of results being made public, it would seem that transparency is a high incentive for implementing corrective actions. Contexte et objectifs L9Agence de la biomedecine a mis en place en 2005 un programme d’evaluation des resultats des greffes d9organes par equipe de greffe qui consiste a comparer les taux d9echec de greffes des equipes au taux d9echec observe au niveau national, apres ajustement sur la severite des malades. Chaque annee, depuis 2006, les resultats sont communiques aux equipes de greffe puis publies sur le site de l9Agence avec l9identification des equipes. Un travail d9analyse complementaire des causes d’echec a ete realise avec les equipes ayant des taux d’echec significativement differents de la moyenne nationale. Dans un deuxieme temps, l9impact de ce programme d’evaluation sur l’evolution des resultats des greffes dans les equipes a ete etudie. L9objectif de ce travail est de presenter l’evolution des resultats des greffes 3 ans apres la premiere publication des resultats, en particulier dans les equipes qui avaient des resultats significativement differents de la moyenne nationale, par rapport a l’evolution des resultats au niveau national. Programme La methodologie consiste a estimer le taux d’echec a un an ajuste sur la severite des malades au moment de la greffe avec un modele de Cox. Le taux ajuste des equipes est compare a la moyenne nationale par la methodologie du « funnel plot » qui permet de construire un intervalle de confiance autour de la moyenne nationale en fonction du nombre de greffes realisees. Resultats L9analyse des premiers resultats montre que les taux d’echec de la greffe a un an ont beaucoup diminue, a partir de 2007, dans les equipes qui avaient les taux d’echec ajustes les plus eleves, alors que le taux d’echec est reste stable au niveau national. Discussion Bien que ce programme ne soit pas a proprement parler un programme d9amelioration de la qualite des soins, puisqu9il etudie les resultats, l9objectif est le meme. Il est construit sur le principe des audits medicaux, ou le premier bilan permet aux equipes d9objectiver le niveau des indicateurs sur la periode de reference, une periode d9analyse realisee par les equipes elles-memes doit conduire au diagnostic des dysfonctionnements et a la mise en place des actions correctrices, sans intervention de l9Agence. Malgre les difficultes que peuvent rencontrer les equipes liees a la publication des resultats, il semble que la transparence soit malgre tout une forte incitation a mettre en place des actions correctrices.