Apprentissage machine pour l'optimisation énergétique des réseaux cellulaires hétérogènes sans-fil : une approche bandit à bras multiples

Dans ce papier, nous proposons un algorithme d'apprentissage machine afin d'ameliorer l'efficacite energetique (EE) des reseaux cellulaires heterogenes. Le but de la strategie est d'apprendre quelle est la configuration optimale de stations de bases allumees et eteintes maximisant l'EE du reseau. Nous modelisons dans un premier temps les variations de charge du trafic par un processus de decision markovien (MDP), puis nous presentons un algorithme de la classe des UCB (Upper Confidence Bound) base sur la theorie des bandits pour apprendre le meilleur deploiement. De plus, afin de palier a la perte de recompense due a la variation de la statistique de charge au cours du temps, nous integrons la notion de transfert d'apprentissage (TL) se basant sur la solution obtenue lors de periodes d'apprentissage passees. Les simulations montrent que la solution proposee permet d'ameliorer grandement l'EE du reseau par rapport aux techniques existantes.