Studentská grantová soutěž - předchozí roky

Paralelní architektury a algoritmy pro zpracování obrazu III

SP2022/81

Krumnikl Michal Mgr. Ing., Ph.D.

doc. Dr. Ing. Eduard Sojka

01. 01. 2022 - 31. 12. 2022

Projekt „Paralelní architektury a algoritmy pro zpracování obrazu III” je pokračováním předešlých projektů zaměřených na hledání nových, dobře paralelizovatelných algoritmů pro zpracování obrazových, hloubkových a lidarových dat, zejména v oblasti detekce objektů, segmentace obrazu a vizualizace 3D dat s využitím prvků virtuální a rozšířené reality. Zkoumány jsou možnosti paralelizace vyvíjených algoritmů, se zaměřením na dvě oblasti; jednak s ohledem na využití grafických procesorových jednotek (GPU) jednotlivých pracovních stanic a dále pak na možnosti mobilních a embedded platforem, které jsou lehce umístitelné přímo v místě zpracování dat, nicméně nedisponují výkonem pracovních stanic. Mimo metod založených na matematických základech, jako jsou například grafové řezy a aplikace difuzních procesů, se řešitelský tým zaměřuje i na aplikace a výzkum hlubokých neuronových sítí. Kromě teoretické novosti bude brán zřetel také na aplikační způsobilost nových algoritmů. Bude preferován vývoj algoritmů použitelných v aplikacích, které jsou pro fakultu prakticky zajímavé, jako jsou například aplikace průmyslové, aplikace v inteligentních systémech řízení dopravy (např. čítání a registrace objektů, sledování trajektorií, vyhodnocování rizikového chování) a aplikace pro rozšířenou realitu. Nedílnou součástí projektu bude prezentace dosažených výsledků na světově uznávaných fórech zabývajících se danou problematikou. Také s ohledem na praktické využití nabytých poznatků, lze zkoumané oblasti považovat za perspektivní a naše zkušenost ukazuje prudký nárůst poptávky po výsledcích v této oblasti. V uvedených oblastech má řešitelský tým tradici a úspěchy v získávání průmyslových projektů. Projekt se skládá z následujících částí: 1. Metody segmentace a registrace obrazu na paralelních architekturách. 2. Algoritmy pro zpracování obrazu a vizualizaci 3D dat. 3. Algoritmy pro zpracování hloubkových dat (LIDAR, RGBD kamery). 4. Aplikace virtuální a rozšířené reality Část 1: Metody segmentace a registrace obrazu na paralelních architekturách. Segmentace je jednou z prvních operací při analýze obrazu. Výsledky segmentace jsou zpracovávány v dalších krocích analýzy obrazu, a proto úspěšnost segmentace rozhoduje o úspěšnosti či neúspěšnosti celého procesu rozpoznání. Segmentace obrazů reálného světa v žádném případě není jednoduchou záležitostí a vývoj v této oblasti nelze považovat za ukončený. Množství a také velikost (rozlišení) obrazů procházejících segmentačními algoritmy stále narůstá. Kromě segmentace klasických obrazů se stává aktuálním také segmentace hloubkových dat získaných z různých RGBD senzorů, jenž zažívají v posledních letech rozmach (Kinect, RealSense). Senzory se stávají součástí mobilních zařízení a procesory mobilních telefonů se tak musí potýkat s novým druhem úloh. V projektu se tak nevyhneme optimalizacím určeným i přímo pro mobilní platformy. Pro oddělení jednotlivých segmentů se využívá řada různých technik. Předmětem našeho výzkumu byly techniky založené na měření vzdálenosti v obrazech. Mezi naše dosavadní publikované výsledky patří modifikace tzv. difuzní vzdálenosti. Tuto vzdálenost můžeme vypočítat ze spektra matice, která popisuje vztah mezi jasy jednotlivých pixelů v obraze. Daná metoda je sice výpočetně náročná, poskytuje však zajímavé výsledky, které jsou aktuálně na vrcholu současného poznání. Druhou naší publikovanou vzdáleností je tzv. k-max vzdálenost jako modifikace klasické geodetické vzdálenosti. Měření geodetické vzdálenosti, tj. nejkratší cesty mezi dvěma body v grafu, je problematické v obrazech obsahujících šum. Námi představená k-max vzdálenost dokáže tento nedostatek částečně potlačit tím, že nejkratší cestu mezi dvěma body grafu definuje pouze nejvyššími vahami na dané cestě. Kromě tradičních algoritmů se v současné době začínají čím dál tím více prosazovat i metody strojového učení. V rámci projektu se budeme zabývat využitím konvolučních neuronových sítí pro segmentaci objektů v RGB a RGBD datech. Cílem této části tak bude zdokonalování a aplikace již publikovaných vzdáleností, jako např. jejich časová a paměťová optimalizace a paralelizace s využitím grafických procesorových jednotek (GPU). Dalším cílem je optimalizace a hledání optimálních struktur neuronových sítí umožňujících kvalitnější segmentaci obrazu bez potřeby dodatečných a priori informací. Část 2: Algoritmy pro zpracování obrazu a vizualizaci 3D dat. V této části se zaměříme na dvě oblasti, které jsou v posledních měsících aktivně řešeny členy řešitelské skupiny. První oblastí jsou algoritmy sledování a porozumění dopravní situaci. V rámci takového systému je nutné aplikovat algoritmy pro detekci automobilů, čtení státních poznávacích značek nebo jiných identifikátorů užívaných v dopravě. Tato oblast zahrnuje také detekci chodců a jiných překážek. Pro takovou detekci je možné využít klasických obrazových přístupů za pomocí kamer nebo využít RGBD kamery a laserové senzory. V této oblasti jsme v minulosti publikovali celou řadu přístupů zejména pro detekci automobilů a chodců. V rámci projektu bude snaha tyto algoritmy dále vylepšovat a zejména urychlovat, tak aby bylo možné jejich nasazení v reálných situacích. V oblasti automobilového průmyslu v kombinaci s analýzou obrazu je v posledních letech velmi často zmiňována i autonomní jízda. Naše skupina se v posledních letech také intenzivně zabývá analýzou chování řidiče v automobilu. Tato analýza zahrnuje komplexní detekci únavy řidiče a jeho zdravotního stavu. Pro tuto detekci je nutné zajistit nalezení tváře, očí a jejich částí (duhovka, zornice, oční víčka), pozice rukou, ramen, nohou a natočení hlavy. Funkčnost za snížených světelných podmínek je jeden ze základních požadavků na takovýto detekční systém. Z toho důvodu aktuálně zkoumáme využití RGBD senzorů (Kinect, RealSense, Orbbec) a vyhodnocujeme jejich úspěšnost v takové aplikaci. V rámci projektu se předpokládá aplikace algoritmů strojového učení, především hlubokých a konvolučních neuronových sítí. Část 3: Algoritmy pro zpracování hloubkových dat (LIDAR, RGBD kamery). V dnešní době mohou autonomní robotické systémy využívat pro mapování pracovního prostoru a následně pro navigaci cenově dostupné laserové skenery LIDAR a RGBD kamery (Kinect, RealSense, Orbbec, atp.). Výstupem těchto zařízení jsou 3D mračna bodů nebo hloubkové mapy. Zpracování těchto informací vyžaduje jako jednu z prvních fází zpracování provedení segmentace a filtrace změřené oblasti. Na základě získaných informací se pak následně provádí spojování jednotlivých změřených oblastí do jednoho celku. Výsledné globální mračno bodů je pak možné zpracovávat do mapy pracovního prostoru. Segmentace mračen bodů je dnes prováděna převážně při sledování prostoru před autonomním robotickým systémem. Pro zpracování mračen bodů obklopujících robotický systém je potřeba tyto algoritmy upravit, případně nalézt a vyzkoušet nové způsoby segmentace. V dalším kroku bude potřeba nacházet shody mezi segmenty sousedních mračen bodů a pro tyto účely bude potřeba navrhnout a vyzkoušet nové algoritmy, které budou schopné s jistou mírou pravděpodobnosti tuto shodu nacházet. Výsledné segmentace umožní například přesnější navigaci autonomních vozidel v prostoru a rychlejší detekci při výskytu překážky. Část 4: Aplikace virtuální a rozšířené reality Rozšířená a virtuální realita jsou stále častěji využívané technologie, které přináší spojení skutečného světa a jeho obrazu v zobrazovacím zařízení, se světem stvořený počítačem. Typickým představitelem využití těchto moderních technologií jsou různé typy interaktivních návodů a postupů, které jsou doplněné o související informace renderované počítačem. V uplynulých letech se studenti podílí na vytváření celé řady aplikací z této oblasti, např. virtuální modely částí elektráren či hradu Sovince umožňují uživatelům virtuálně navštívit místa běžně nepřístupná. V rozvoji těchto aplikací bychom rádi pokračovali a v rámci projektu se zaměřili na metody optimalizace modelů a využití moderních zobrazovacích metod. Cílové aplikace pak poběží nejen na specializovaném hardware ale i na běžných mobilních telefonech. Vybrané publikace řešitelského týmu [1] Valuchova, S., Mikulkova, P., Pecinkova, J., Klimova, J., Krumnikl, M., Bainar, P., Heckmann, S., Tomancak, P., Riha, K., Imaging plant germline differentiation within arabidopsis flowers by light sheet microscopy. eLife, 9, art. no. e52546 (2020) [2] Fusek, R., Dobeš, P., Pupil localization using self-organizing migrating algorithm. Lecture Notes in Electrical Engineering, 554, pp. 207-216 (2020). [3] Fusek, R., Dobeš, P.: Pupil Localization Using Self-organizing Migrating Algorithm. In AETA 2018 - Recent Advances in Electrical Engineering and Related Sciences: Theory and Application, pp. 207-216 (2019) [4] Kožusznik, J., Bainar, P., Klímová, J., Krumnikl, M., Moravec, P., Svatoň, V., Tomančák, P. SPIM workflow manager for HPC. Bioinformatics, 35 (19), pp. 3875-3876. (2019) [5] Moravec, P., Kožusznik, J., Krumnikl, M., Klímová, J. Performance of user data collections uploads to HPCaaS infrastructure. In Lecture Notes in Computer Science, 11703 LNCS, pp. 359-369, (2019) [6] Vantuch, T., Fulneček, J., Holuša, M., Mišák, S., Vaculík, J.: An examination of thermal features' relevance in the task of battery-fault detection. Applied Sciences (Switzerland), 8 (2), Article number 182 (2018) [7] Holý, B.: Registration of Lines in 2D LIDAR Scans via Functions of Angles. Engineering Applications of Artificial Intelligence, 67, pp. 436-442 (2018) [8] Holuša, M., Sojka, E.: On the Stability of the k-Max Distance to the Position of Seeds. In Proceedings of the 25th IEEE International Conference on Image Processing, ICIP 2018, pp. 261-265 (2018) [9] Krumnikl, M. and Bainar, P. and Klímová, J. and Kožusznik, J. and Moravec, P. and Svatoň, V. and Tomančák, P.: SciJava interface for parallel execution in the ImageJ ecosystem. In Proceedings of the 17th International Conference on Computer Information Systems and Industrial Management, CISIM 2018, pp. 288-299 (2018) [10] Simkanič, R.: Matrix Descriptor of Changes (MDC): Activity Recognition Based on Skeleton. In Proceedings of the 19th International Conference on Advanced Concepts for Intelligent Vision Systems, ACIVS 2018, pp. 14-25 (2018) [11] Fusek, R.: Pupil localization using geodesic distance. In Proceedings of the 13th International Symposium on Visual Computing, ISVC 2018, pp. 433-444 (2018) [12] Vantuch, T., Gaura, J., Misak, S., Zelinka, I.: A complex network based classification of covered conductors faults detection. Advances in Intelligent Systems and Computing, 535, pp. 278-286 (2017) [13] Holuša, M., Sukhanov, A., Sojka, E.: Image segmentation based on solving the flow in the mesh with the connections of limited capacities. In Proceedings of the 14th International Conference on Image Analysis and Recognition, ICIAR 2017, pp. 163-170 (2017) [14] Holuša, M., Sojka, E.: The k-max distance in graphs and images. Pattern Recognition Letters, volume 98, pp. 103-109 (2017) [15] Moravec, P. and Krumnikl, M.: Developing countermeasures against cloning of identity tokens in legacy systems. In Proceedings of the 16th IFIP TC8 International Conference on Computer Information Systems and Industrial Management, CISIM 2017, pp. 672-684 (2017) [16] Olivka, P., Krumnikl, M., Moravec, P., Seidl, D. Process of point clouds merging for mapping of a robot’s working environment (2016) Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 9842 LNCS, pp. 251-264. [17] Olivka, P., Krumnikl, M., Moravec, P., Seidl, D. Calibration of Short Range 2D Laser Range Finder for 3D SLAM Usage (2016) Journal of Sensors, 2016, art. no. 3715129, . [18] Gaura, J., Sojka, E.: Resistance-Geodesic Distance and Its Use in Image Segmentation . International Journal on Artificial Intelligence Tools, Volume 25, Issue 5, 1 October 2016, Article number 1640002 (2016) [19] Olivka, P. and Krumnikl, M. and Moravec, P. and Seidl, D.: Calibration of Short Range 2D Laser Range Finder for 3D SLAM Usage. Journal of Sensors, Volume 2016, Article number 3715129 (2016) [20] Moravec, P. and Krumnikl, M. and Olivka, P. and Seidl, D.: Connecting household weather sensors to IoT world. In Proceedings of the 15th IFIP TC8 International Conference on Computer Information Systems and Industrial Management, CISIM 2016, pp. 603-616 (2016) [21] Hrabal, J. and Seidl, D. and Krumnikl, M. and Moravec, P. and Olivka, P.: The radio direction finding with advantage of the software defined radio. In Proceedings of the 15th IFIP TC8 International Conference on Computer Information Systems and Industrial Management, CISIM 2016, pp. 720-728 (2016) [22] Šurkala, M., Fusek, R., Holuša, M., Sojka, E.: Hierarchical fast mean-shift segmentation in depth images. In Proceedings of the 17th International Conference on Advanced Concepts for Intelligent Vision Systems, ACIVS 2016, pp. 441-452 (2016) [23] Fusek, R., Sojka, E.: Energy transfer features combined with dct for object detection. Signal, Image and Video Processing, Volume 10, Issue 3, 1 March 2016, pp. 1-8 (2016) [24] Kuncicky, R., Licev, L., Krumnikl, M., Feberova, K., Hendrych, J. Sine inverter controller with 8 bit microcontroller (2016) Advances in Electrical and Electronic Engineering, 14 (3), pp. 287-294. [25] Stebel, J., Krumnikl, M., Moravec, P., Olivka, P., Seidl, D. Neural network classification of SDR signal modulation (2016) Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 9842 LNCS, pp. 160-171.

Ing. David Seidl, Ph.D.
Ing. Martin Němec, Ph.D.
Ing. Pavel Moravec, Ph.D.
Ing. Petr Olivka, Ph.D.
Ing. Tomáš Fabián, Ph.D.
Ing. Jan Gaura, Ph.D.
Ing. Radovan Fusek, Ph.D.
Ing. Daniel Stříbný
Mgr. Ing. Michal Krumnikl, Ph.D.
Bc. Tomáš Chovančík
Ing. Jakub Halman
Bc. Ondřej Foukal
Bc. Petr Dihel
Ing. Lukáš Klein
Bc. Tomáš Klubal
Bc. Radek Kopecký
Bc. Lukáš Moravec
Bc. Vladimír Bednář
Ing. Petr Krumpolc
Bc. Tomáš Staško
Ing. Matěj Nevlud
Bc. Pavel Mandrla
Ing. Jakub Výmola
Ing. Veronika Gromnicová
Bc. Tadeáš Popov
Bc. Vojtěch Maiwald
Bc. Milan Křivánek
Ing. Lukáš Hojdysz
Bc. Ondřej Fojtík
Bc. Dalibor Marszalek
doc. Dr. Ing. Eduard Sojka

Algoritmy zpracování obrazu v průmyslových a dopravních systémech s využitím hlubokých neuronových sítí. Vizualizace v prostředí virtuální a rozšířené reality. Nové algoritmy pro segmentaci obrazu, zejména algoritmy založené na měření vzdáleností v obrazech. Rozpoznání objektů s pomocí LIDARových mračen a hloubkové mapy z RGBD kamer, paralelní varianty výše uvedených algoritmů. Optimalizace algoritmů pro paralelní architektury (CUDA, OpenCL).
V rámci výstupu projektu plánujeme zaslat minimálně 2 publikace do časopisů s hodnocením
v Q1/Q2 a dále budeme připravovat na základě dosažených výsledků materiály pro další
příspěvky do indexovaných časopisů. Publikace na konferencích budeme připravovat zejména pro
propojení s vědeckou komunitu a navázání dalších spoluprací. Jejich počet nelze přesně stanovit, neboť tyto budou sloužit zejména pro prezentaci prvotních výstupů experimentů a výsledků studia studentů v doktorském studijním oboru. Vzhledem k stále přetrvávající nejisté pandemické situaci je ale účast na aktivitách spojených s výjezdem do zahraničí nejistá.