Estrategias pedagógicas para la presentación de patrones al entrenamiento de redes neuronales de tipo MLP que utilizan backpropagation como algoritmo de aprendizaje
DOI:
https://doi.org/10.17533/udea.redin.325923Palabras clave:
Redes neuronales, patrones de entrenamiento, estrategias de selección de patrones, procesos de aprendizajes, estrategias aleatorias, estrategias deterministas.Resumen
El problema de las estrategias de selección de patrones para el entrenamiento de redes neuronales no ha recibido mucha atención por parte de los investigadores de este campo. Durante el entrenamiento Backpropagation (BP) usualmente todos los patrones son presentados de forma secuencial en un orden uniforme, sin tener en cuenta posibles estructuraciones del conjunto de entrenamiento que posibilitarían drásticas reducciones del tiempo de duración del proceso de aprendizaje. Este trabajo presenta y compora algunas estrategias de selección de patrones para adaptar el proceso de aprendizaje a las características del problema en particular que se está tratando. Estas estrategias favorecen la selección de patrones que producen valores de error altos, restando prioridad a aquellas que ya han sido "aprendidas"por la red (que producen errores muy bajos). Pueden existir dos tipos de estrategias: Aleatorias y determinísticas. En las estrategias aleatorias, los patrones son seleccionados aleatoriamente atendiendo a alguna variable de propabilidad que depende del estado del proceso de aprendizaje. Por el contrario las determinísticas siguen esquemas globales y predefinidos que incrementan la frecuencia de presentación de ciertos patrones forzando su repetición. Hemos formalizado cinco variantes de estrategias que se describen en la literatura (Cachin, 1994 y Munro, 1992) que son: (1) probabilidad de presentación dependiente del error (PPDE), de tipo aleatorio; (2) repetición dependiente del error (RDE), de tipo determinista; (3) sistema de fichero de tarjetas (SFT), que posee dos variantes, una aleatoria y otra determinista; (4) partición del conjunto de entrenamiento (PCE), de tipo determinista; y (5) repetir hasta apreder (RHA), de tipo aleatorio. Además proponemos dos nuevas estrategias: (1) repetir el mayor error (RME), de tipo determinista y (2) sistema de fichero de tarjetas dependiente del error (SFTDE) también de tipo determinista. Los experimentos han demostrado que en los mejores resultados para los problemas de prueba, el tiempo de convergencia y la calidad del aprendizaje pueden ser mejorados, pero solo mediante estrategias de tipo determinista.Descargas
Citas
Cachin, C., “Pedagogical Pattern Selection Strategies”, In: Neural Networks, Vol. 7, No. 1, 1994, pp. 175-181. DOI: https://doi.org/10.1016/0893-6080(94)90066-3
Looney, C, G., “Stabilization and speedup of convergence in training feedforward neural networkc”, In: Neurocomputing, Vo. 10, No. 1, 1996. DOI: https://doi.org/10.1016/0925-2312(94)00026-3
Munro, P. W., Repeat until bored: A pattern selection strategy. San Mateo, CA: Morgan Kaufmann Publishers, 1992.
Sarkar, D., “Method to speed up error back-propagation learning algorithm”, ACM Computing Surveys, Vol. 27, No. 4, 1995. DOI: https://doi.org/10.1145/234782.234785
Setiono R. and Liu H, “Improving backpropagation with feature selection”, Applied Intelligence,. Vol.6 No. 2, 1996. DOI: https://doi.org/10.1007/BF00117813
Van Ooyen, A. y Nienhuis B, “Improving the convergence of back-propagation algorithm”, In: Neural Networks, Vol. 5, No. 3, 1992. DOI: https://doi.org/10.1016/0893-6080(92)90008-7
Zurada, J. M., Introduction to Artificial Neural Systems, West Publishing Company, 1992.
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Los artículos disponibles en la Revista Facultad de Ingeniería, Universidad de Antioquia están bajo la licencia Creative Commons Attribution BY-NC-SA 4.0.
Eres libre de:
Compartir — copiar y redistribuir el material en cualquier medio o formato
Adaptar : remezclar, transformar y construir sobre el material.
Bajo los siguientes términos:
Reconocimiento : debe otorgar el crédito correspondiente , proporcionar un enlace a la licencia e indicar si se realizaron cambios . Puede hacerlo de cualquier manera razonable, pero no de ninguna manera que sugiera que el licenciante lo respalda a usted o su uso.
No comercial : no puede utilizar el material con fines comerciales .
Compartir igual : si remezcla, transforma o construye a partir del material, debe distribuir sus contribuciones bajo la misma licencia que el original.
El material publicado por la revista puede ser distribuido, copiado y exhibido por terceros si se dan los respectivos créditos a la revista, sin ningún costo. No se puede obtener ningún beneficio comercial y las obras derivadas tienen que estar bajo los mismos términos de licencia que el trabajo original.
Twitter