Generalización del uso de prototipos para el diseño de redes neuronales tipo MLP con una capa oculta
DOI:
https://doi.org/10.17533/udea.redin.325956Palabras clave:
Inicialización, redes neuronales hacia adelante, retropropagación del error, prototipos, aprendizaje supervisado, reconocimiento de patrones.Resumen
El algoritmo Backpropagation (BP) ha causado un profundo impacto en las aplicaciones de redes neuronales de tipo Multilayer Perceptrons (MLP) mostrando sus potencialidades en la obtención de buenas soluciones para muchos problemas. Sin embargo, posee importantes limitaciones: necesidad de gran tiempo de entrenamiento y sensibilidad ante la presencia de mínimos locales. Otro problema es la topología de la red; la determinación del número exacto de capas y neuronas ocultas en muchas ocasiones no resulta una tarea fácil. En este trabajo abordamos, para redes MLP con una capa oculta, el problema de la obtención de un buen conjunto inicial de pesos, la determinación del número de neuronas ocultas y algunas consideraciones sobre la generación de los prototipos. Se demuestra que para este tipo de redes es posible realizar un preprocesamiento de los patrones de entrenamiento que posibilita la obtención de la arquitectura óptima y el conjunto inicial de pesos que le permiten a BP aumentar su eficiencia. Se presenta un algoritmo para la generación de la capa oculta de la red y la determinación del conjunto inicial de pesos, a partir de la información aportada por los prototipos o representantes de clases. Finalmente, se presentan los resultados donde se muestra que la inicialización de redes BP con prototipos generalmente resulta en 1) una reducción drástica del tiempo de entrenamiento, 2) aumento de su robustez contra la posibilidad de quedar atrapado en mínimos locales y 3) mejor generalización.Descargas
Citas
Sarkar, D. "Methods to speed up error backpropagation learning algorithrn". In: ACM Computing Surveys. Vol. 27. No. 4. 1995. pp. 519-542. DOI: https://doi.org/10.1145/234782.234785
Arai, M. "Bounds on the number of bidden units in binary-valued three-layer neural networks". In: Neural Networks. Vol. 6. No. 6. 1993. pp. 855-860. DOI: https://doi.org/10.1016/S0893-6080(05)80130-3
Hirose, Y. et al. "Backpropagation algorithrn wbich varíes the number of hidden units". In: Neural Networks. Vol. 4. No. l. 1991. pp. 61-66. DOI: https://doi.org/10.1016/0893-6080(91)90032-Z
Huang, S. C. "Bounds on the nurnber ofhidden neurons in multilayers perceptrons". ln: IEEE Transactions on Neural Networks. Vol. 2. No. l. 1991. pp. 47-55. DOI: https://doi.org/10.1109/72.80290
lrie, B. and Miyake, S. "Capabilities ofthree-layared perceptrons". In: IEEE lnt. Conf Neural Networks. 1988. pp. l-641-1-648. DOI: https://doi.org/10.1109/ICNN.1988.23901
Kung, S. Y. and Hwang, J. N. "An algebraic projection analisys for optima! hidden units size and leaming rates in backpropagation leaming". In: IEEE !nt. Conf Neural Networks. 1988. pp. 1-363-1-370. DOI: https://doi.org/10.1109/ICNN.1988.23868
Villiers, J. and Bemard, E. "Backpropagation neural nets with one and two hidden layers". In: IEEE Transactions on Neural Networks. Vol. 4. No. 1. 1992. pp. 136-141. DOI: https://doi.org/10.1109/72.182704
Weymaere, N. and Martens, J. P. "A fast and robust learning algoritbm for feed forward neural networks''. In: Neural Networks. Vol. 4. No. 3. 1991. pp. 361-369. DOI: https://doi.org/10.1016/0893-6080(91)90072-D
Smyth, S. G. "Designing multilayer perceptrons from nearest-neighbor systems". In: IEEE Transactions on Neural Networks. Vol. 3. No. 2. 1992. pp. 329-333. DOI: https://doi.org/10.1109/72.125875
Denoeux, T. and Lengellé, R. "lnitializing back propagation networks with prototypes''. In: Neural Networks. Vol. 6. No. 3. 1993. pp. 351-363. DOI: https://doi.org/10.1016/0893-6080(93)90003-F
Reilly, D. L. et al. "A neural model for category learning". In: Biological Cybernetics. 1982. pp. 45, 35-41. DOI: https://doi.org/10.1007/BF00387211
Kohonen, T. Selforganization and associarive memory Berlín, Springer-Verlag, 1 987.
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Los artículos disponibles en la Revista Facultad de Ingeniería, Universidad de Antioquia están bajo la licencia Creative Commons Attribution BY-NC-SA 4.0.
Eres libre de:
Compartir — copiar y redistribuir el material en cualquier medio o formato
Adaptar : remezclar, transformar y construir sobre el material.
Bajo los siguientes términos:
Reconocimiento : debe otorgar el crédito correspondiente , proporcionar un enlace a la licencia e indicar si se realizaron cambios . Puede hacerlo de cualquier manera razonable, pero no de ninguna manera que sugiera que el licenciante lo respalda a usted o su uso.
No comercial : no puede utilizar el material con fines comerciales .
Compartir igual : si remezcla, transforma o construye a partir del material, debe distribuir sus contribuciones bajo la misma licencia que el original.
El material publicado por la revista puede ser distribuido, copiado y exhibido por terceros si se dan los respectivos créditos a la revista, sin ningún costo. No se puede obtener ningún beneficio comercial y las obras derivadas tienen que estar bajo los mismos términos de licencia que el trabajo original.
Twitter