Estrategias pedagógicas para la presentación de patrones al entrenamiento de redes neuronales de tipo MLP que utilizan backpropagation como algoritmo de aprendizaje
DOI:
https://doi.org/10.17533/udea.redin.325923Keywords:
Redes neuronales, patrones de entrenamiento, estrategias de selección de patrones, procesos de aprendizajes, estrategias aleatorias, estrategias deterministas.Abstract
El problema de las estrategias de selección de patrones para el entrenamiento de redes neuronales no ha recibido mucha atención por parte de los investigadores de este campo. Durante el entrenamiento Backpropagation (BP) usualmente todos los patrones son presentados de forma secuencial en un orden uniforme, sin tener en cuenta posibles estructuraciones del conjunto de entrenamiento que posibilitarían drásticas reducciones del tiempo de duración del proceso de aprendizaje. Este trabajo presenta y compora algunas estrategias de selección de patrones para adaptar el proceso de aprendizaje a las características del problema en particular que se está tratando. Estas estrategias favorecen la selección de patrones que producen valores de error altos, restando prioridad a aquellas que ya han sido "aprendidas"por la red (que producen errores muy bajos). Pueden existir dos tipos de estrategias: Aleatorias y determinísticas. En las estrategias aleatorias, los patrones son seleccionados aleatoriamente atendiendo a alguna variable de propabilidad que depende del estado del proceso de aprendizaje. Por el contrario las determinísticas siguen esquemas globales y predefinidos que incrementan la frecuencia de presentación de ciertos patrones forzando su repetición. Hemos formalizado cinco variantes de estrategias que se describen en la literatura (Cachin, 1994 y Munro, 1992) que son: (1) probabilidad de presentación dependiente del error (PPDE), de tipo aleatorio; (2) repetición dependiente del error (RDE), de tipo determinista; (3) sistema de fichero de tarjetas (SFT), que posee dos variantes, una aleatoria y otra determinista; (4) partición del conjunto de entrenamiento (PCE), de tipo determinista; y (5) repetir hasta apreder (RHA), de tipo aleatorio. Además proponemos dos nuevas estrategias: (1) repetir el mayor error (RME), de tipo determinista y (2) sistema de fichero de tarjetas dependiente del error (SFTDE) también de tipo determinista. Los experimentos han demostrado que en los mejores resultados para los problemas de prueba, el tiempo de convergencia y la calidad del aprendizaje pueden ser mejorados, pero solo mediante estrategias de tipo determinista.Downloads
References
Cachin, C., “Pedagogical Pattern Selection Strategies”, In: Neural Networks, Vol. 7, No. 1, 1994, pp. 175-181. DOI: https://doi.org/10.1016/0893-6080(94)90066-3
Looney, C, G., “Stabilization and speedup of convergence in training feedforward neural networkc”, In: Neurocomputing, Vo. 10, No. 1, 1996. DOI: https://doi.org/10.1016/0925-2312(94)00026-3
Munro, P. W., Repeat until bored: A pattern selection strategy. San Mateo, CA: Morgan Kaufmann Publishers, 1992.
Sarkar, D., “Method to speed up error back-propagation learning algorithm”, ACM Computing Surveys, Vol. 27, No. 4, 1995. DOI: https://doi.org/10.1145/234782.234785
Setiono R. and Liu H, “Improving backpropagation with feature selection”, Applied Intelligence,. Vol.6 No. 2, 1996. DOI: https://doi.org/10.1007/BF00117813
Van Ooyen, A. y Nienhuis B, “Improving the convergence of back-propagation algorithm”, In: Neural Networks, Vol. 5, No. 3, 1992. DOI: https://doi.org/10.1016/0893-6080(92)90008-7
Zurada, J. M., Introduction to Artificial Neural Systems, West Publishing Company, 1992.
Downloads
Published
How to Cite
Issue
Section
License
Revista Facultad de Ingeniería, Universidad de Antioquia is licensed under the Creative Commons Attribution BY-NC-SA 4.0 license. https://creativecommons.org/licenses/by-nc-sa/4.0/deed.en
You are free to:
Share — copy and redistribute the material in any medium or format
Adapt — remix, transform, and build upon the material
Under the following terms:
Attribution — You must give appropriate credit, provide a link to the license, and indicate if changes were made. You may do so in any reasonable manner, but not in any way that suggests the licensor endorses you or your use.
NonCommercial — You may not use the material for commercial purposes.
ShareAlike — If you remix, transform, or build upon the material, you must distribute your contributions under the same license as the original.
The material published in the journal can be distributed, copied and exhibited by third parties if the respective credits are given to the journal. No commercial benefit can be obtained and derivative works must be under the same license terms as the original work.
Twitter