Estrategias pedagógicas para la presentación de patrones al entrenamiento de redes neuronales de tipo MLP que utilizan backpropagation como algoritmo de aprendizaje

Authors

  • Adolfo Díaz-Sardiñas Universidad Central de Las Villas, Santa Clara, Cuba
  • Rafael Bello-Pérez Universidad Central de Las Villas, Santa Clara, Cuba.

Keywords:

Redes neuronales, patrones de entrenamiento, estrategias de selección de patrones, procesos de aprendizajes, estrategias aleatorias, estrategias deterministas.

Abstract


El problema de las estrategias de selección de patrones para el entrenamiento de redes neuronales no ha recibido mucha atención por parte de los investigadores de este campo. Durante el entrenamiento Backpropagation (BP) usualmente todos los patrones son presentados de forma secuencial en un orden uniforme, sin tener en cuenta posibles estructuraciones del conjunto de entrenamiento que posibilitarían drásticas reducciones del tiempo de duración del proceso de aprendizaje. Este trabajo presenta y compora algunas estrategias de selección de patrones para adaptar el proceso de aprendizaje a las características del problema en particular que se está tratando. Estas estrategias favorecen la selección de patrones que producen valores de error altos, restando prioridad a aquellas que ya han sido "aprendidas"por la red (que producen errores muy bajos). Pueden existir dos tipos de estrategias: Aleatorias y determinísticas. En las estrategias aleatorias, los patrones son seleccionados aleatoriamente atendiendo a alguna variable de propabilidad que depende del estado del proceso de aprendizaje. Por el contrario las determinísticas siguen esquemas globales y predefinidos que incrementan la frecuencia de presentación de ciertos patrones forzando su repetición. Hemos formalizado cinco variantes de estrategias que se describen en la literatura (Cachin, 1994 y Munro, 1992) que son: (1) probabilidad de presentación dependiente del error (PPDE), de tipo aleatorio; (2) repetición dependiente del error (RDE), de tipo determinista; (3) sistema de fichero de tarjetas (SFT), que posee dos variantes, una aleatoria y otra determinista; (4) partición del conjunto de entrenamiento (PCE), de tipo determinista; y (5) repetir hasta apreder (RHA), de tipo aleatorio. Además proponemos dos nuevas estrategias: (1) repetir el mayor error (RME), de tipo determinista y (2) sistema de fichero de tarjetas dependiente del error (SFTDE) también de tipo determinista. Los experimentos han demostrado que en los mejores resultados para los problemas de prueba, el tiempo de convergencia y la calidad del aprendizaje pueden ser mejorados, pero solo mediante estrategias de tipo determinista.
|Abstract
= 30 veces | PDF (ESPAÑOL (ESPAÑA))
= 12 veces|

Downloads

Download data is not yet available.

References

Cachin, C., “Pedagogical Pattern Selection Strategies”, In: Neural Networks, Vol. 7, No. 1, 1994, pp. 175-181.

Looney, C, G., “Stabilization and speedup of convergence in training feedforward neural networkc”, In: Neurocomputing, Vo. 10, No. 1, 1996.

Munro, P. W., Repeat until bored: A pattern selection strategy. San Mateo, CA: Morgan Kaufmann Publishers, 1992.

Sarkar, D., “Method to speed up error back-propagation learning algorithm”, ACM Computing Surveys, Vol. 27, No. 4, 1995.

Setiono R. and Liu H, “Improving backpropagation with feature selection”, Applied Intelligence,. Vol.6 No. 2, 1996.

Van Ooyen, A. y Nienhuis B, “Improving the convergence of back-propagation algorithm”, In: Neural Networks, Vol. 5, No. 3, 1992.

Zurada, J. M., Introduction to Artificial Neural Systems, West Publishing Company, 1992.

Published

2000-11-08

How to Cite

Díaz-Sardiñas, A., & Bello-Pérez, R. (2000). Estrategias pedagógicas para la presentación de patrones al entrenamiento de redes neuronales de tipo MLP que utilizan backpropagation como algoritmo de aprendizaje. Revista Facultad De Ingeniería Universidad De Antioquia, (21), 92–101. Retrieved from https://revistas.udea.edu.co/index.php/ingenieria/article/view/325923

Most read articles by the same author(s)