Generalización del uso de prototipos para el diseño de redes neuronales tipo MLP con una capa oculta

  • Alfonso Díaz-Sardiñas Universidad Central de Las Villas
  • Rafael Bello-Pérez Universidad Central de Las Villas
Keywords: Inicialización, redes neuronales hacia ade­lante, retropropagación del error, prototipos, aprendizaje supervisa­do, reconocimiento de patrones.

Abstract

El algoritmo Backpropagation (BP) ha causado un profundo impacto en las aplicaciones de redes neuronales de tipo Multilayer Perceptrons (MLP) mos­trando sus potencialidades en la obtención de buenas soluciones para muchos problemas. Sin embargo, posee importantes limitaciones: necesidad de gran tiempo de entrenamiento y sensibilidad ante la presencia de mínimos locales. Otro problema es la topología de la red; la determinación del número exacto de capas y neuronas ocultas en muchas ocasiones no resulta una tarea fácil. En este trabajo abordamos, para redes MLP con una capa oculta, el problema de la obtención de un buen conjunto inicial de pesos, la determinación del número de neuronas ocultas y algunas consideraciones sobre la generación de los prototipos. Se demuestra que para este tipo de redes es posible realizar un preprocesamiento de los patrones de entrenamiento que posibilita la obten­ción de la arquitectura óptima y el conjunto inicial de pesos que le permiten a BP aumentar su eficiencia. Se presenta un algoritmo para la generación de la capa oculta de la red y la determinación del conjunto inicial de pesos, a partir de la información aportada por los prototipos o representantes de clases. Fi­nalmente, se presentan los resultados donde se muestra que la inicialización de redes BP con prototipos generalmente resulta en 1) una reducción drástica del tiempo de entrenamiento, 2) aumento de su robustez contra la posibilidad de quedar atrapado en mínimos locales y 3) mejor generalización.
|Abstract
= 20 veces | PDF (ESPAÑOL (ESPAÑA))
= 7 veces|

Downloads

Download data is not yet available.

References

Sarkar, D. "Methods to speed up error backpropagation learning algorithrn". In: ACM Computing Surveys. Vol. 27. No. 4. 1995. pp. 519-542.

Arai, M. "Bounds on the number of bidden units in binary-valued three-layer neural networks". In: Neural Networks. Vol. 6. No. 6. 1993. pp. 855-860.

Hirose, Y. et al. "Backpropagation algorithrn wbich varíes the number of hidden units". In: Neural Networks. Vol. 4. No. l. 1991. pp. 61-66.

Huang, S. C. "Bounds on the nurnber ofhidden neurons in multilayers perceptrons". ln: IEEE Transactions on Neural Networks. Vol. 2. No. l. 1991. pp. 47-55.

lrie, B. and Miyake, S. "Capabilities ofthree-layared perceptrons". In: IEEE lnt. Conf Neural Networks. 1988. pp. l-641-1-648.

Kung, S. Y. and Hwang, J. N. "An algebraic projection analisys for optima! hidden units size and leaming rates in backpropagation leaming". In: IEEE !nt. Conf Neural Networks. 1988. pp. 1-363-1-370.

Villiers, J. and Bemard, E. "Backpropagation neural nets with one and two hidden layers". In: IEEE Transactions on Neural Networks. Vol. 4. No. 1. 1992. pp. 136-141.

Weymaere, N. and Martens, J. P. "A fast and robust learning algoritbm for feed forward neural networks''. In: Neural Networks. Vol. 4. No. 3. 1991. pp. 361-369.

Smyth, S. G. "Designing multilayer perceptrons from nearest-neighbor systems". In: IEEE Transactions on Neural Networks. Vol. 3. No. 2. 1992. pp. 329-333.

Denoeux, T. and Lengellé, R. "lnitializing back propagation networks with prototypes''. In: Neural Networks. Vol. 6. No. 3. 1993. pp. 351-363.

Reilly, D. L. et al. "A neural model for category learning". In: Biological Cybernetics. 1982. pp. 45, 35-41.

Kohonen, T. Selforganization and associarive memory Berlín, Springer-Verlag, 1 987.

Published
2001-11-09
How to Cite
Díaz-Sardiñas A., & Bello-Pérez R. (2001). Generalización del uso de prototipos para el diseño de redes neuronales tipo MLP con una capa oculta. Revista Facultad De Ingeniería Universidad De Antioquia, (22), 126-133. Retrieved from https://revistas.udea.edu.co/index.php/ingenieria/article/view/325956