Novel evolutionary-based methods for the robust training of svr and gmdh regressors

En los ultimos anos se han consolidado una serie de diferentes metodos y algoritmos para problemas de aprendizaje maquina y optimizacion de sistemas, que han dado lugar a toda una corriente de investigacion conocida como Soft-Computing. El termino de Soft-Computing hace referencia a una coleccion de tecnicas computacionales que intenta estudiar, modelar y analizar fenomenos muy complejos, para los que los metodos convencionales no proporcionan soluciones completas, o no las proporcionan en un tiempo razonable. Dentro de lo que se considera como Soft-Computing existen una gran cantidad de tecnicas tales como Redes Neuronales, Maquinas de Vectores Soporte (SVM), Redes Bayesianas, Computacion Evolutiva (Algoritmos Geneticos, Algoritmos Evolutivos etc), etc. La investigacion de la Tesis esta enfocada en dos de estas tecnicas, en primer lugar las maquinas de vectores soporte de regresion (SVR) y en segundo lugar a las GMDH (Group Method of Data Handling). Las SVM son una tecnica ideada por Vapnik, basada en el principio de minimizacion del riesgo estructural y la teoria de los metodos kernel, que a partir de un conjunto de datos construye una regla de decision con la cual intentar predecir nuevos valores para dicho proceso a partir de nuevas entradas. La eficiencia de los sistemas SVM ha hecho que tengan un desarrollo muy significativo en los ultimos anos y se hayan utilizado en una gran cantidad de aplicaciones tanto para clasificacion como para problemas de regresion (SVR). Uno de los principales problemas es la busqueda de los que se conoce como hiper-parametros. Estos parametros no pueden ser calculados de forma exacta, por lo que se hace necesario testear un gran numero de combinaciones, para obtener unos parametros que generen una buena funcion de estimacion. Debido a esto el tiempo de entrenamiento suele ser elevado y no siempre los parametros encontrados generan una buena solucion: ya sea porque el algoritmo de busqueda tenga un pobre rendimiento o porque el modelo generado esta sobre-entrenado. En esta Tesis se ha desarrollado un nuevo algoritmo de tipo evolutivo para el entrenamiento con kernel multi-parametrico. Este nuevo algoritmo tiene en cuenta un parametro ? distinto, para cada una de las dimensiones del espacio de entradas. En este caso, debido al incremento del numero de parametros no puede utilizarse una busqueda en grid clasica, debido al coste computacional que conllevaria. Por ello, en esta Tesis se propone la utilizacion de un algoritmo evolutivo para la obtencion de los valores optimos de los parametros de la SVR y la aplicacion de nuevas cotas para los parametros de este kernel multi-parametrico. Junto con esto, se han desarrollado nuevos metodos de validacion que mejoren el rendimiento de las tecnicas de regresion en problemas data-driven. La idea es obtener mejores modelos en la fase de entrenamiento del algoritmo, de tal forma que el desempeno con el conjunto de test mejore, principalmente en lo que a tiempo de entrenamiento se refiere y en el rendimiento general del sistema, con respecto a otros metodos de validacion clasicos como son K-Fold cross-validation, etc. El otro foco de investigacion de esta Tesis se encuentra en la tecnica GMDH, ideada en los anos 70 por Ivakhnenko. Es un metodo particularmente util para problemas que requieran bajos tiempos de entrenamiento. Es un algoritmo auto-organizado, donde el modelo se genera de forma adaptativa a partir de los datos, creciendo con el tiempo en complejidad y ajustandose al problema en cuestion, hasta que el modelo alcanza un grado de complejidad optima, es decir, no es demasiado simple ni demasiado complejo. De esta forma el algoritmo construye el modelo en base a los datos de los que dispone y no a una idea preconcebida del investigador, como ocurre en la mayoria de las tecnicas de Soft-Computing.