Generalización del uso de prototipos para el diseño de redes neuronales tipo MLP con una capa oculta
DOI:
https://doi.org/10.17533/udea.redin.325956Keywords:
Inicialización, redes neuronales hacia adelante, retropropagación del error, prototipos, aprendizaje supervisado, reconocimiento de patrones.Abstract
El algoritmo Backpropagation (BP) ha causado un profundo impacto en las aplicaciones de redes neuronales de tipo Multilayer Perceptrons (MLP) mostrando sus potencialidades en la obtención de buenas soluciones para muchos problemas. Sin embargo, posee importantes limitaciones: necesidad de gran tiempo de entrenamiento y sensibilidad ante la presencia de mínimos locales. Otro problema es la topología de la red; la determinación del número exacto de capas y neuronas ocultas en muchas ocasiones no resulta una tarea fácil. En este trabajo abordamos, para redes MLP con una capa oculta, el problema de la obtención de un buen conjunto inicial de pesos, la determinación del número de neuronas ocultas y algunas consideraciones sobre la generación de los prototipos. Se demuestra que para este tipo de redes es posible realizar un preprocesamiento de los patrones de entrenamiento que posibilita la obtención de la arquitectura óptima y el conjunto inicial de pesos que le permiten a BP aumentar su eficiencia. Se presenta un algoritmo para la generación de la capa oculta de la red y la determinación del conjunto inicial de pesos, a partir de la información aportada por los prototipos o representantes de clases. Finalmente, se presentan los resultados donde se muestra que la inicialización de redes BP con prototipos generalmente resulta en 1) una reducción drástica del tiempo de entrenamiento, 2) aumento de su robustez contra la posibilidad de quedar atrapado en mínimos locales y 3) mejor generalización.Downloads
References
Sarkar, D. "Methods to speed up error backpropagation learning algorithrn". In: ACM Computing Surveys. Vol. 27. No. 4. 1995. pp. 519-542. DOI: https://doi.org/10.1145/234782.234785
Arai, M. "Bounds on the number of bidden units in binary-valued three-layer neural networks". In: Neural Networks. Vol. 6. No. 6. 1993. pp. 855-860. DOI: https://doi.org/10.1016/S0893-6080(05)80130-3
Hirose, Y. et al. "Backpropagation algorithrn wbich varíes the number of hidden units". In: Neural Networks. Vol. 4. No. l. 1991. pp. 61-66. DOI: https://doi.org/10.1016/0893-6080(91)90032-Z
Huang, S. C. "Bounds on the nurnber ofhidden neurons in multilayers perceptrons". ln: IEEE Transactions on Neural Networks. Vol. 2. No. l. 1991. pp. 47-55. DOI: https://doi.org/10.1109/72.80290
lrie, B. and Miyake, S. "Capabilities ofthree-layared perceptrons". In: IEEE lnt. Conf Neural Networks. 1988. pp. l-641-1-648. DOI: https://doi.org/10.1109/ICNN.1988.23901
Kung, S. Y. and Hwang, J. N. "An algebraic projection analisys for optima! hidden units size and leaming rates in backpropagation leaming". In: IEEE !nt. Conf Neural Networks. 1988. pp. 1-363-1-370. DOI: https://doi.org/10.1109/ICNN.1988.23868
Villiers, J. and Bemard, E. "Backpropagation neural nets with one and two hidden layers". In: IEEE Transactions on Neural Networks. Vol. 4. No. 1. 1992. pp. 136-141. DOI: https://doi.org/10.1109/72.182704
Weymaere, N. and Martens, J. P. "A fast and robust learning algoritbm for feed forward neural networks''. In: Neural Networks. Vol. 4. No. 3. 1991. pp. 361-369. DOI: https://doi.org/10.1016/0893-6080(91)90072-D
Smyth, S. G. "Designing multilayer perceptrons from nearest-neighbor systems". In: IEEE Transactions on Neural Networks. Vol. 3. No. 2. 1992. pp. 329-333. DOI: https://doi.org/10.1109/72.125875
Denoeux, T. and Lengellé, R. "lnitializing back propagation networks with prototypes''. In: Neural Networks. Vol. 6. No. 3. 1993. pp. 351-363. DOI: https://doi.org/10.1016/0893-6080(93)90003-F
Reilly, D. L. et al. "A neural model for category learning". In: Biological Cybernetics. 1982. pp. 45, 35-41. DOI: https://doi.org/10.1007/BF00387211
Kohonen, T. Selforganization and associarive memory Berlín, Springer-Verlag, 1 987.
Downloads
Published
How to Cite
Issue
Section
License
Revista Facultad de Ingeniería, Universidad de Antioquia is licensed under the Creative Commons Attribution BY-NC-SA 4.0 license. https://creativecommons.org/licenses/by-nc-sa/4.0/deed.en
You are free to:
Share — copy and redistribute the material in any medium or format
Adapt — remix, transform, and build upon the material
Under the following terms:
Attribution — You must give appropriate credit, provide a link to the license, and indicate if changes were made. You may do so in any reasonable manner, but not in any way that suggests the licensor endorses you or your use.
NonCommercial — You may not use the material for commercial purposes.
ShareAlike — If you remix, transform, or build upon the material, you must distribute your contributions under the same license as the original.
The material published in the journal can be distributed, copied and exhibited by third parties if the respective credits are given to the journal. No commercial benefit can be obtained and derivative works must be under the same license terms as the original work.
Twitter