URSI-TÜRKĐYE’2014 VII. Bilimsel Kongresi, 28-30 Ağustos 2014, ELAZIĞ TERMAL KAMERA GÖRÜNTÜLERĐNĐN PĐKSEL SÜPER ÇÖZÜNÜRLÜK YÖNTEMLERĐYLE ĐYĐLEŞTĐRĐLMESĐ IMPROVING THERMAL CAMERA IMAGES BY USING PIXEL SUPER RESOLUTION METHODS Eren Alp ÇELĐK, Đsa NAVRUZ* ASELSAN Haberleşme ve Bilgi Teknolojileri Grup Başkanlığı, Test Sistemleri ve Süreçler Tasarım Müdürlüğü Yenimahalle, Ankara eacelik@aselsan.com.tr *Ankara Üniversitesi Elektrik- Elektronik Mühendisliği Bölümü Gölbaşı, Ankara inavruz@ankara.edu.tr ÖZETÇE Piksel süper çözünürlük yöntemi, aynı sahnenin birden fazla görüntüsünün çakıştırılmasıyla, görüntülerin piksel çözünürlüğünü ve görüntülerdeki detay miktaını arttıran bir tekniktir. Görünür bölgede çalışan kamera görüntülerinde piksel süper çözünürlük yöntemi başarıyla uygulanmaktadır. Bu çalışmada piksel süper çözünürlük yöntemleri ile termal kamera görüntülerinin iyileştirilmesi için analizler ve testler yapılmıştır. Elde edilen sonuçlar, termal kamera görüntülerinde piksel süper çözünürlük yönteminin başarıyla uygulanabileceğini göstermiştir. ABSTRACT Pixel Super Resolution method, is a technique that is used to increase pixel resolution and detail level of images by registering multiple images of the same scene. For the images of visible region camera systems, pixel super resolution method is applied successfully. In this paper, pixel super resolution method has been applied on thermal camera images, also some analyses and tests have been performed. Obtained results indicate that pixel super resolution method can be successfully applied to thermal camera images. 1. GĐRĐŞ Piksel çözünürlük kavramı, sayısal bir görüntünün, satır ve sütunlarındaki piksel sayısıyla ilişkilidir. Örneğin satır ve sütunlarındaki piksel sayıları sırasıyla M ve N olan sayısal bir görüntünün, piksel çözünürlüğü MxN ile ifade edilir. Çözünürlük artışı, görüntüyü oluşturan aynı sahnenin, piksel sayısının arttırılması yoluyla daha yüksek detay seviyesi sunulmasıdır. Çözünürlük artışı yüksek çözünürlüklü kamera sensörleri kullanılarak sağlanabilir. Bununla beraber mevcut kamera görüntülerinde piksel süper çözünürlük algoritmaları görüntüyü daha küçük piksellere ayrıştırarak mevcut görüntüden 2-3 kat daha yüksek çözünürlüklü görüntü elde edilmesine olanak sağlar [1]. Süper-çözünürlük yöntemleri, esas olarak düşük çözünürlüklü birçok görüntüden, görüntülerin çakıştırılması ve işlenmesi sonucu daha yüksek çözünürlüklü görüntü elde etmek için kullanılmaktadır [3]-[5]. Termal kameralar çözünürlük yönünden normal kameralara göre daha farklıdır. Görüntü alma işlemi fiziksel boyutu olan FPA (focal plane array) yapılarına dayanan termal kamera sistemlerinde, piksel oranı artırımı yavaş ilerlemiştir. FPA yapılarının daha da sıklaştırılması işlemi, maliyet artışları ve oluşturulan görüntülerde aşırı örtüşme (aliasing) problemlerini de beraberinde getirmektedir [2]-[6]. Piksel yoğunluğu artamayan termal görüntü sistemleri, görüntülenen bölgedeki yüksek frekanslı bölgeleri tam olarak tespit edememekte ve detay seviyesi düşük bulanık görüntüler sunmaktadır [3]. Buna rağmen askeri, medikal ve güvenlik alanlarında sıklıkla kullanılmakta olan termal kameralardan daha yüksek detaylı görüntüler alma ihtiyacı vardır. Bu amaçla termal kamera görüntülerinde süper çözünürlük metotlarının uygulanması, tasarımı oldukça zor ve pahalı olan yüksek çözünürlüklü termal kameralara alternatif çözümler sunabilir. URSI-TÜRKĐYE’2014 VII. Bilimsel Kongresi, 28-30 Ağustos 2014, ELAZIĞ 2. SÜPER-ÇÖZÜNÜRLÜK KAVRAMI Süper-çözünürlük yöntemlerinin işlevsellik kazanabilmesi için temel kıstas, veri setinde aynı sahnenin birden çok görüntüsünün olmasıdır. Ancak bu görüntüler arasında, yatay ve dikey eksenlerde piksel-altı düzeyde kaymalar olmalıdır. Đşlem sonucu olarak istenen detay miktarının artırılması düşüncesinin temeli, piksel-altı düzeyde kaymış görüntülerin içerdiği bilgilerin birbirleriyle çakıştırmasıyla yeni bilgilerin (detayların) ortaya çıkartılması esasına dayanır [2]-[4]-[5]. Bu çalışmada, termal kameradan alınan aynı sahneye ait birden fazla görüntü, Şekil 1’de gösterildiği gibi önce hareket tahmin yöntemleriyle üst üste çakıştırılmıştır. Bir sonraki adımda, piksel-altı seviyede kaymalara sahip bu görüntülerin içerdiği farklılıklar tespit edilmeye çalışılarak tek bir görüntü elde edilmeye çalışılmıştır. Son olarak elde edilen gürültü azaltma ve bulanıklık giderme teknikleri ile sonuç görüntüsü yapılandırılarak daha yüksek çözünürlük seviyelerine ulaşılmıştır. Şekil 1:Süper-çözünürlük yönteminin genel şeması Süper-çözünürlük yöntemlerinin temel ve başlangıç işlemi olan hareket tahmin yöntemlerinin, hem frekans bölgesinde hem de uzamsal bölgede uygulanan farklı teknikleri mevcuttur. Đşlenecek görüntüdeki bütün ya da yerel iyileştirme istemine göre, bu yöntemlerden biri seçilebilir. Düşük çözünürlüklü görüntü içerisindeki hareket eden bir obje (insan, araç vs) takibi yapılacaksa uzamsal bölgesindeki yöntemlerden biri seçilmektedir, aksi takdirde görüntünün tamamında detay artırılmak isteniyorsa, frekans bölgesi yöntemlerden birisi kullanılmaktadır [7]. 3.DENEYSEL ÇALIŞMALAR Bu çalışmada termal kameralar kullanılarak, açık ortam olan köy/arazi üzerinden ve tarafımızca oluşturulmuş çözünürlük analizinde kullanılan USAF Chart benzeri bir test deseni ile kapalı ortamdan alınmış kızılötesi hareketli video görüntüleri kullanılmıştır. Arazi resimlerinde tam çerçeve takibi, test deseni görüntülerinde ise yerel obje takibi işlemleri için kullanılması önerilen süper-çözünürlük yöntemleri uygulanmıştır. Süper-çözünürlük işlemleri sürekli video görüntülerden alınan ardışık 20 adet çerçeveye uygulanmıştır. Elde edilen çerçeveler, %25 oranında küçültülerek, kısmen daha düşük çözünürlüklü görüntüler oluşturulmuştur. Ardından elde edilen görüntülere hareket kestirim ve süper çözünürlük yöntemleri uygulanarak yüksek çözünürlüklü görüntü oluşturulmuştur. Son olarak oluşturulan bu görüntülere, gürültü azaltma ve bulanıklık azaltma yöntemleri uygulanarak görüntüler yapılandırılmıştır. Deneysel çalışmalarda kullanılan süper çözünürlük yöntemleri sıklıkla POCS (Projections Onto Convex Sets), IBP (Iterative Back Projection), Kaydırma&Toplama (Shift&Add) yöntemleridir. Hareket kestirim yöntemleri olarak, frekans bölgesinde çalışan yöntemlerden biri olan Vandewalle kestirim yöntemi ile uzamsal bölge yöntemlerinden biri olan Karen kestirim yöntemi seçilmiştir. Bulanıklık azaltma yöntemleri olarak ise Wiener, Blind, Iteratif, RichardLucy Ters Evrişim (Deconvolution) yöntemleri kullanılmıştır. Deneysel amaçlı kullanılmak üzere oluşturulmuş test deseni üzerinden alınan görüntülere yukarıda sözü edilen yöntemlerin uygulanması neticesi elde edilen süper çözünürlüklü görüntüler Şekil 2’de sunulmuştur. URSI-TÜRKĐYE’2014 VII. Bilimsel Kongresi, 28-30 Ağustos 2014, ELAZIĞ (a) (c) (e) (b) (d) (f) Şekil 2. a) Termal kamera ile alınan orijinal görüntü, b)Orijinal görüntünün %25 oranında küçültülüp tekrar büyültülmüş durumu, c)Keren + POCS + Blind Ters Evrişim işlemi sonucu, d)Vandewalle + POCS + Blind Ters Evrişim işlemi sonucu, e)Keren + IBP + Blind Ters Evrişim işlemi sonucu, f)Vandewalle + IBP + Blind Ters Evrişim işlemi sonucu. Açık ortam görüntülerinde, piksel süper çözünürlük yöntemlerinin başarısını test etmek için termal kamera ile alınan arazi/köy video görüntüsü kullanılmıştır. Şekil 3’de sırasıyla (a) orijinal görüntü, (b) %25 küçültülerek elde edilmiş düşük çözünürlüklü görüntü, (c) ve (d) iki farklı piksel süper çözünürlük yöntemi ile elde edilen sonuç görüntüler sunulmuştur. (a) (c) (b) (d) Şekil 3. a) Termal kamera ile alınan orijinal açık ortam görüntüsü, b) Orijinal görüntünün %25 oranında küçültülüp tekrar büyültülmüş durumu, c) Vandewalle + IBP + Blind Ters Evrişim işlemi sonucu, d) Vandewalle + POCS + Blind Ters Evrişim işlemi sonucu. URSI-TÜRKĐYE’2014 VII. Bilimsel Kongresi, 28-30 Ağustos 2014, ELAZIĞ 4.SONUÇLAR Bu çalışmada termal video kameradan alınan ardışıl çerçeve görüntülere süper çözünürlük metotları uygulayarak, çözünürlük artışı sağlanmıştır. Çözünürlük artışıyla yapılan iyileştirmeler, hem göz denetimiyle hem de elde edilen PSNR seviyeleriyle ortaya konulmuştur. Sonuç görüntülerinin, termal kameradan alınan video görüntülerden ilk çerçevenin %25 oranında küçültülmüş halindeki görüntüyle karşılaştırılmasıyla PSNR değeri hesaplaması yapılmıştır. Aşağıdaki tabloda, açık alan ve test deseni üzerinden alınmış termal görüntülere uygulanan işlemler sonucunda elde edilen görüntülerden elde edilen PSNR değerleri verilmiştir. Yöntem Açık Arazi Görüntüsü Test Deseni Görüntüsü Keren + IBP 15.9 dB 18.8 dB Keren + POCS 20.9 dB 24.4 dB Vandewalle + IBP 15.8 dB 19.1 dB Vandewalle + POCS 20.7 dB 23.4 dB Tablo 1. Açık arazi ve test deseni görüntülerine piksel süper çözünürlük yöntemleri uygulanmasıyla elde edilen PSNR değerleri Çalışmada, süper çözünürlük uygulamaları sonucu elde edilen görüntülerin PSNR seviyelerinin, işleme giren resim sayısıyla ilintili olduğu gözlemlenmiştir. Aynı sahneye ait görüntü sayısı arttıkça elde edilen süper çözünürlüklü görüntülerde gözle fark edilir iyileşmeler gözlenmiştir. Yöntem olarak, görüntü birleştirme yöntemlerinin PSNR değerlerine katkısının hareket kestirim yöntemlerinden daha belirgin olduğu görülmektedir. Bu açıdan hem performans değeri hem de daha kısa işlem süresi nedeniyle POCS yönteminin daha kullanışlı olduğu sonucuna varılmıştır. 5.KAYNAKÇA [1] Park, Park, Kang, “Super-Resolution Image Reconstruction-A Technical Overview”, IEEE Signal Processing Magazine, May 2003. [2] Alam, Bognar, Hardie, Yasuda, “Infrared Image Registration and High-Resolution Reconstruction Using Multiple Translationally Shifted Aliased Video Frames”, IEEE Transactions On Instrumentation And Measurement, Vol. 49, No. 5, Oct 2000. [3] Kaltenbacher, Hardie, “High Resolution Infrared Image Reconstruction Using Multiple, Low Resolution, Aliased Frames”, Hybrid Image and Signal Processing SPIE-V, 142, June 1996. [4] Young, Sims, Kraples, Waterman, Smith, Jacobs,Corbin, Larsen, Driggers, “Applications of Super-Resolution and Deblurring to Practical Sensors”, Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XIX, Proeedings. of SPIE Vol. 6941, 2008. [5] Malczewski, Stasinski, “Super-Resolution Thermal Image Reconstruction”, IWSSIP - 17th International Conference on Systems, Signals and Image Processing, 2010. [6] M. Kaczmarek, Borwanski, “Resolution Enhancement Of Thermal Images in Active Dynamic Thermography Sequences”, 11th International Conference on Quantitative InfraRed Thermography, 11-14 June 2012. [7] Krapels, Driggers, Jacobs, Burks, “Characteristics of Infrared Imaging Systems which benefit from SuperResolution Reconstruction”, Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XVII, Proceedings of SPIE Vol. 6207, 2006.
© Copyright 2024 Paperzz