Reconstruction of multispectral light field (5d plenoptic function) based on compressive sensing with colored coded apertures from 2D projections

Kareth Marcela León-López; Laura Viviana Galvis-Carreño; Henry Arguello-Fuentes

doi:10.17533/udea.redin.n80a14

Autores/as

Kareth Marcela León-López Universidad Industrial de Santander https://orcid.org/0000-0002-0502-9107
Laura Viviana Galvis-Carreño University of Delaware https://orcid.org/0000-0002-9232-7865
Henry Arguello-Fuentes Universidad Industrial de Santander

DOI:

https://doi.org/10.17533/udea.redin.n80a14

Palabras clave:

campo de luz, muestreo compresivo, imágenes multiespectrales, campos de luz multiespectral, aperturas codificadas de color

Resumen

Los sistemas de adquisición de información espacio – angular en 4D o campos de luz, han avanzado en la última década debido a la inclusión de aperturas codificadas en el camino óptico del sistema. Dichas aperturas, modulan la luz codificando la información antes de ser capturada. Tradicionalmente, estas aperturas codificadas son aperturas binarias, es decir, bloquean o dejan pasar los rayos de luz en la dimensión espacial haciendo que se capture información dispersa de la escena. En este trabajo, se reemplazan las aperturas binarias por aperturas codificadas de color, que además de modular la luz espacialmente lo hacen espectralmente. De esta forma, es posible adquirir campos de luz en múltiples longitudes de onda y aumentar su resolución espectral. La importancia de obtener información en el espectro radica en que es posible capturar características que no están presentes en el rango visible del espectro electromagnético. En este artículo, se propone un algoritmo que simula la adquisición de una imagen de campo de luz usando aperturas codificadas de color. El sistema propuesto aprovecha la redundancia de información que se presenta en la escena basándose en la teoría del muestreo compresivo, así, solo se captura una señal dispersa de la escena. La imagen multidimensional es recuperada a partir de dicha señal mediante un algoritmo de reconstrucción. Los resultados de simulación muestran la calidad de reconstrucción del campo de luz multiespectral. La calidad de las reconstrucciones obtenidas es de alrededor de 25 dB en PSNR.

|Resumen

= 285 veces | PDF (ENGLISH)

= 167 veces|

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Kareth Marcela León-López, Universidad Industrial de Santander

Escuela de Ingeniería de Sistemas e Informática, Facultad de Ingenierías Fisicomecánicas.

Laura Viviana Galvis-Carreño, University of Delaware

Department of Electrical and Computer Engineering.

Henry Arguello-Fuentes, Universidad Industrial de Santander

Escuela de Ingeniería de Sistemas e Informática, Facultad de Ingenierías Fisicomecánicas.

Citas

E. Candès, “Compressive sampling”, in International Congress of Mathematicians, Madrid, Spain, 2006, pp. 1433-1452.

M. Fornasier and H. Rauhut, “Compressive sensing”, in Handbook Mathematical Methods in Imaging, O. Scherzer (ed). New York, USA: Springer, 2011, pp. 187-228.

D. Donoho, “Compressed sensing”, IEEE Trans. Inf. Theory, vol. 52, no. 4, pp. 1289-1306, 2006.

G. Shaw and H. Burke, “Spectral imaging for remote sensing”, Lincoln Lab. J., vol. 14, no. 1, pp. 3-28, 2003.

K. Marwah, G. Wetzstein, Y. Bando and R. Raskar, “Compressive light field photography using overcomplete dictionaries and optimized projections”, ACM Trans. Graph., vol. 32, no. 4, 2013.

A. Mian and R. Hartley, “Hyperspectral video restoration using optical flow and sparse coding”, Optics Express, vol. 20, no. 10. p. 10658-10673, 2012.

K. Choi and D. Brady, “Coded aperture computed tomography”, in SPIE 7468: Adapt. Coded Aperture Imaging, Non-Imaging, Unconv. Imaging Sens. Syst., San Diego, USA, 2009.

E. Adelson and J. Bergen, “The plenoptic function and the elements of early vision”, in Computational Models of Visual Processing, M. Landy and J. Movshon (eds). Cambridge, USA: MIT Press, 1991, pp. 3-20.

G. Wetzstein, I. Ihrke, D. Lanman and W. Heidrich, “Computational plenoptic imaging”, Comput. Graph. Forum, vol. 30, no. 8, pp. 2397-2426, 2011.

H. Rueda, H. Arguello and G. Arce, “Compressive spectral imaging based on colored coded apertures”, in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Florence, Italy, 2014, pp. 7799-7803.

S. Babacan, R. Ansorge, M. Luessi, R. Molina and A. Katsaggelos, “Compressive Sensing of Light Fields”, in IEEE International Conference on Image Processing (ICIP), Cairo, Egypt, 2009, pp. 2337-2340.

R. Ng, “Digital light field photography”, Ph.D. dissertation, Standford University, Stanford, USA, 2006.

M. Aharon, M. Elad and A. Bruckstein, “K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation”, IEEE Trans. Signal Process., vol. 54, pp. 4311-4322, 2006.

A. Brückner, “Microoptical Multi Aperture Imaging Systems”, Ph.D. dissertation, Friedrich Schiller University Jena, Jena, Germany, 2011.

S. Kim, E. Lee, M. Hayes and J. Paik, “Multifocusing and depth estimation using a color shift model-based computational camera”, IEEE Trans. Image Process., vol. 21, no. 9, pp. 4152-4166, 2012.

Y. Bando, B. Chen and T. Nishita, “Extracting depth and matte using a color-filtered aperture”, ACM Transactions on Graphics, vol. 27, no. 5, 2008.

H. Arguello and G. Arce, “Colored coded aperture design by concentration of measure in compressive spectral imaging”, IEEE Trans. Image Process., vol. 23, pp. 1896-1908, 2014.

H. Arguello, H. Rueda, Y. Wu, D. Prather and G. Arce, “Higher-order computational model for coded aperture spectral imaging”, Appl. Opt., vol. 52, no. 10, pp. 12-21, 2013.

E. van den Berg and M. Friedlander, “Probing the Pareto Frontier for Basis Pursuit Solutions”, SIAM Journal on Scientific Computing, vol. 31, no. 2. pp. 890-912, 2009.

Z. Wang, A. Bovik, H. Sheikh and E. Simoncelli, “Image quality assessment: From error visibility to structural similarity”, IEEE Trans. Image Process., vol. 13, no. 4, pp. 600-612, 2004.