Studentská grantová soutěž - předchozí roky

Paralelní architektury a algoritmy pro zpracování obrazu

SP2020/26

Krumnikl Michal Mgr. Ing., Ph.D.

doc. Dr. Ing. Eduard Sojka

01. 01. 2020 - 31. 12. 2020

V posledních letech se staly vícejádrové procesory standardem mezi stolními tak i mobilními zařízeními. Byl to logický posun jak, vzhledem k fyzickým omezením bránícím zvyšování frekvence procesorů, dosáhnout dalšího zvyšování výkonu. Efektivní využití vícejádrových procesorů se stalo dominantním způsobem pro dosažení dalšího zrychlování chodů programů. Paralelní výpočty a paralelizace tvoří v současné době dominantní paradigma v počítačové architektuře. Projekt „Paralelní architektury a algoritmy pro zpracování obrazu” se zaměřuje na hledání nových, dobře paralelizovatelných algoritmů pro zpracování obrazových, hloubkových a lidarových dat, zejména v oblasti detekce objektů, segmentace obrazu a vizualizace 3D dat s využitím prvků virtuální a rozšířené reality. Mimo metod založených na matematických základech, jako jsou například grafové řezy a aplikace difuzních procesů, se řešitelský tým zaměřujeme na aplikace a výzkum hlubokých neuronových sítí. Zkoumány budou možnosti paralelizace vyvíjených algoritmů, se zaměřením na dvě oblasti; jednak s ohledem na využití grafických procesorových jednotek (GPU) jednotlivých pracovních stanic a dále pak na masivně paralelní výpočty běžící v datových centrech. Kromě teoretické novosti bude brán zřetel také na aplikační způsobilost nových algoritmů. Bude preferován vývoj algoritmů použitelných v aplikacích, které jsou pro fakultu prakticky zajímavé, jako jsou například aplikace průmyslové, aplikace v inteligentních systémech řízení dopravy (např. čítání a registrace objektů, sledování trajektorií, vyhodnocování rizikového chování) a aplikace pro rozšířenou realitu. Výzkum bude také zaměřen na aplikační doménu v rámci frameworku ImageJ, který cílí na zpracování rozsáhlých obrazových dat z oblasti biologie a medicíny. Nedílnou součástí projektu bude prezentace dosažených výsledků na světově uznávaných fórech zabývajících se danou problematikou. Také s ohledem na praktické využití nabytých poznatků, lze zkoumané oblasti považovat za perspektivní a naše zkušenost ukazuje prudký nárůst poptávky po výsledcích v této oblasti. V uvedených oblastech má řešitelský tým tradici a úspěchy v získávání průmyslových projektů. Projekt se skládá z následujících částí: 1. Metody segmentace a registrace obrazu na paralelních architekturách. 2. Algoritmy pro zpracování obrazu a vizualizaci 3D dat. 3. Algoritmy pro zpracování hloubkových dat (LIDAR, RGBD kamery). 4. Optimalizace algoritmů v prostředí masivně paralelních architektur. Část 1: Metody segmentace a registrace obrazu na paralelních architekturách. Segmentace je jednou z prvních operací při analýze obrazu. Výsledky segmentace jsou zpracovávány v dalších krocích analýzy obrazu, a proto úspěšnost segmentace rozhoduje o úspěšnosti či neúspěšnosti celého procesu rozpoznání. Segmentace obrazů reálného světa v žádném případě není jednoduchou záležitostí a vývoj v této oblasti nelze považovat za ukončený. Množství a také velikost (rozlišení) obrazů procházejících segmentačními algoritmy stálé narůstá. Požadavkem tak není vždy jen rychlé zpracování pro využití v real-time aplikacích, ale i zpracování rozsáhlých datasetů pořízených například optickými mikroskopy. Kromě segmentace klasických obrazů se stává aktuálním také segmentace hloubkových dat získaných z různých RGBD senzorů, jenž zažívají v posledních letech rozmach (Kinect, RealSense). Senzory se stávají součástí mobilních zařízení a procesory mobilních telefonů se tak musí potýkat s novým druhem úloh. V projektu se tak nevyhneme optimalizacím určeným i přímo pro mobilní platformy. Pro oddělení jednotlivých segmentů se využívá řada různých technik. Předmětem našeho výzkumu jsou především techniky založené na měření vzdálenosti v obrazech. Mezi naše dosavadní publikované výsledky patří modifikace tzv. difuzní vzdálenosti. Tuto vzdálenost můžeme vypočítat ze spektra matice, která popisuje vztah mezi jasy jednotlivých pixelů v obraze. Daná metoda je sice výpočetně náročná, poskytuje však zajímavé výsledky, které jsou aktuálně na vrcholu současného poznání. V projektu se budeme zabývat aplikací difuzní vzdálenosti v algoritmech segmentace obrazu. Druhou naší publikovanou vzdáleností je tzv. k-max vzdálenost jako modifikace klasické geodetické vzdálenosti. Měření geodetické vzdálenosti, tj. nejkratší cesty mezi dvěma body v grafu, je problematické v obrazech obsahujících šum. Námi představená k-max vzdálenost dokáže tento nedostatek částečně potlačit tím, že nejkratší cestu mezi dvěma body grafu definuje pouze nejvyššími vahami na dané cestě. Kromě tradičních algoritmů se v současné době začínají čím dál tím více prosazovat i metody strojového učení. V rámci tohoto projektu se budeme zabývat využitím konvolučních neuronových sítí pro segmentaci objektů v RGB a RGBD datech. Cílem této části tak bude zdokonalování a aplikace již publikovaných vzdáleností, jako např. jejich časová a paměťová optimalizace a paralelizace s využitím grafických procesorových jednotek (GPU). Dalším cílem je optimalizace a hledání optimálních struktur neuronových sítí umožňujících kvalitnější segmentaci obrazu bez potřeby dodatečných a priori informací. Část 2: Algoritmy pro zpracování obrazu a vizualizaci 3D dat. V této části se zaměříme na dvě oblasti, které jsou v posledních měsících aktivně řešeny členy řešitelské skupiny. První oblastí jsou algoritmy sledování a porozumění dopravní situaci. V rámci takového systému je nutné aplikovat algoritmy pro detekci automobilů, čtení státních poznávacích značek nebo rozpoznání semaforů. Tato oblast také zahrnuje detekce chodců na křižovatkách a zejména v okolí automobilů. Pro takovou detekci je možné využít klasických obrazových přístupů za pomocí kamer nebo využít RGBD kamery a laserové senzory. V této oblasti jsme v minulosti publikovali celou řadu přístupů zejména pro detekci automobilů a chodců. V rámci projektu bude snaha tyto algoritmy dále vylepšovat a zejména urychlovat, tak aby bylo možné jejich nasazení v reálných situacích. V oblasti automobilového průmyslu v kombinaci s analýzou obrazu je v posledních letech velmi často zmiňována i autonomní jízda. Část výzkumu bude proto zaměřena i tímto směrem. Naše skupina se v posledních letech velmi intenzivně zabývá také analýzou chování řidiče v automobilu. Tato analýza zahrnuje komplexní detekci únavy řidiče a jeho zdravotního stavu. Pro tuto detekci je nutné zajistit nalezení tváře, očí a jejich částí (duhovka, zornice, oční víčka), pozice rukou, ramen, nohou a natočení hlavy. Funkčnost za snížených světelných podmínek je jeden ze základních požadavků na takovýto detekční systém. Z toho důvodu aktuálně zkoumáme využití RGBD senzorů (Kinect, RealSense, Orbbec) a vyhodnocujeme jejich úspěšnost v takové aplikaci. V rámci projektu se předpokládá aplikace algoritmů strojového učení, především hlubokých a konvolučních neuronových sítí. Cílem je publikování dosavadních i nově získaných výsledků v této oblasti. 3D data nejsou pořizována jen stereokamerami, LIDARy či RGBD kamerami. Moderní light sheet mikroskopie je schopna snímat mikroskopické preparáty v rovinných řezech a poté tyto jednotlivé snímky spojovat a rekonstruovat do podoby 3D modelů. V rámci jednoho celodenního snímání je light sheet mikroskop schopen vyprodukovat téměř terabajt dat, které je třeba zpracovat formou registrace, fúze jednotlivých řezů a následné dekonvoluce. Tyto operace probíhají v řádu stovek hodin na jedné pracovní stanici a je proto snahou je přesouvat na výkonnější instalace, jakými jsou HPC zdroje. V této oblasti již skupina publikovala několik článků a bude dále pokračovat ve smyslu efektivnějších paralelizací s využitím knihovny OpenMPI. Část 3: Algoritmy pro zpracování hloubkových dat (LIDAR, RGBD kamery). V dnešní době mohou autonomní robotické systémy využívat pro mapování pracovního prostoru a následně pro navigaci cenově dostupné laserové skenery LIDAR a RGBD kamery (Kinect, RealSense, Orbbec, atp.). Výstupem těchto zařízení jsou 3D mračna bodů nebo hloubkové mapy. Zpracování těchto informací vyžaduje jako jednu z prvních fází zpracování provedení segmentace a filtrace změřené oblasti. Na základě získaných informací je pak následně možné provádět spojování jednotlivých změřených oblastí do jednoho celku. Výsledné globální mračno bodů je pak možno zpracovávat do mapy pracovního prostoru. Segmentace mračen bodů je dnes prováděna převážně při sledování prostoru před autonomním robotickým systémem. Pro zpracování mračen bodů obklopujících robotický systém je potřeba tyto algoritmy upravit, případně nalézt a vyzkoušet nové způsoby segmentace. V dalším kroku bude potřeba nacházet shody mezi segmenty sousedních mračen bodů a pro tyto účely bude potřeba navrhnout a vyzkoušet nové algoritmy, které budou schopné s jistou mírou pravděpodobnosti tuto shodu nacházet. Výsledné segmentace umožní přesnější navigaci autonomních vozidel v prostoru a rychlejší detekci při výskytu překážky. Část 4: Optimalizace algoritmů v prostředí masivně paralelních architektur. Ke zpracování obrazových dat nemusí docházet přímo nebo poblíž jejich zdroje. Existuje celá řada aplikací, které produkují obrovská kvanta dat, která nejsou v místě jejich vzniku zpracovatelná. Příkladem mohou být v textu zmiňované snímky pořízené světelnými mikroskopy. Skupina se již zabývá problematikou zpracování obrazových dat pořízených z tzv. light sheet mikroskopie. Tento typ snímání umožňuje díky posunu a rotaci vzorku snímat optické řezy, které se následně rekonstruují a skládají do výsledného multi-view 3D modelu. Vzhledem k objemu pořízených dat a netriviálních algoritmů se tyto výpočty přesouvají do datových center, kde je k dispozici dostatek výkonu umožňující zpracování snímků v krátké době. Cílem této části bude paralelizace dílčích částí algoritmů tak, aby umožňovaly masivně paralelní zpracování na více vzájemně propojených výpočetních uzlech. Vybrané publikace řešitelského týmu [1] Fusek, R., Dobeš, P.: Pupil Localization Using Self-organizing Migrating Algorithm. In AETA 2018 - Recent Advances in Electrical Engineering and Related Sciences: Theory and Application, pp. 207-216 (2019) [2] Kožusznik, J., Bainar, P., Klímová, J., Krumnikl, M., Moravec, P., Svatoň, V., Tomančák, P. SPIM workflow manager for HPC. Bioinformatics, 35 (19), pp. 3875-3876. (2019) [3] Moravec, P., Kožusznik, J., Krumnikl, M., Klímová, J. Performance of user data collections uploads to HPCaaS infrastructure. In Lecture Notes in Computer Science, 11703 LNCS, pp. 359-369, (2019) [4] Vantuch, T., Fulneček, J., Holuša, M., Mišák, S., Vaculík, J.: An examination of thermal features' relevance in the task of battery-fault detection. Applied Sciences (Switzerland), 8 (2), Article number 182 (2018) [5] Holý, B.: Registration of Lines in 2D LIDAR Scans via Functions of Angles. Engineering Applications of Artificial Intelligence, 67, pp. 436-442 (2018) [6] Holuša, M., Sojka, E.: On the Stability of the k-Max Distance to the Position of Seeds. In Proceedings of the 25th IEEE International Conference on Image Processing, ICIP 2018, pp. 261-265 (2018) [7] Krumnikl, M. and Bainar, P. and Klímová, J. and Kožusznik, J. and Moravec, P. and Svatoň, V. and Tomančák, P.: SciJava interface for parallel execution in the ImageJ ecosystem. In Proceedings of the 17th International Conference on Computer Information Systems and Industrial Management, CISIM 2018, pp. 288-299 (2018) [8] Simkanič, R.: Matrix Descriptor of Changes (MDC): Activity Recognition Based on Skeleton. In Proceedings of the 19th International Conference on Advanced Concepts for Intelligent Vision Systems, ACIVS 2018, pp. 14-25 (2018) [9] Fusek, R.: Pupil localization using geodesic distance. In Proceedings of the 13th International Symposium on Visual Computing, ISVC 2018, pp. 433-444 (2018) [10] Vantuch, T., Gaura, J., Misak, S., Zelinka, I.: A complex network based classification of covered conductors faults detection. Advances in Intelligent Systems and Computing, 535, pp. 278-286 (2017) [11] Holuša, M., Sukhanov, A., Sojka, E.: Image segmentation based on solving the flow in the mesh with the connections of limited capacities. In Proceedings of the 14th International Conference on Image Analysis and Recognition, ICIAR 2017, pp. 163-170 (2017) [12] Holuša, M., Sojka, E.: The k-max distance in graphs and images. Pattern Recognition Letters, volume 98, pp. 103-109 (2017) [13] Moravec, P. and Krumnikl, M.: Developing countermeasures against cloning of identity tokens in legacy systems. In Proceedings of the 16th IFIP TC8 International Conference on Computer Information Systems and Industrial Management, CISIM 2017, pp. 672-684 (2017) [14] Olivka, P., Krumnikl, M., Moravec, P., Seidl, D. Process of point clouds merging for mapping of a robot’s working environment (2016) Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 9842 LNCS, pp. 251-264. [15] Olivka, P., Krumnikl, M., Moravec, P., Seidl, D. Calibration of Short Range 2D Laser Range Finder for 3D SLAM Usage (2016) Journal of Sensors, 2016, art. no. 3715129, . [16] Gaura, J., Sojka, E.: Resistance-Geodesic Distance and Its Use in Image Segmentation . International Journal on Artificial Intelligence Tools, Volume 25, Issue 5, 1 October 2016, Article number 1640002 (2016) [17] Olivka, P. and Krumnikl, M. and Moravec, P. and Seidl, D.: Calibration of Short Range 2D Laser Range Finder for 3D SLAM Usage. Journal of Sensors, Volume 2016, Article number 3715129 (2016) [18] Moravec, P. and Krumnikl, M. and Olivka, P. and Seidl, D.: Connecting household weather sensors to IoT world. In Proceedings of the 15th IFIP TC8 International Conference on Computer Information Systems and Industrial Management, CISIM 2016, pp. 603-616 (2016) [19] Hrabal, J. and Seidl, D. and Krumnikl, M. and Moravec, P. and Olivka, P.: The radio direction finding with advantage of the software defined radio. In Proceedings of the 15th IFIP TC8 International Conference on Computer Information Systems and Industrial Management, CISIM 2016, pp. 720-728 (2016) [20] Šurkala, M., Fusek, R., Holuša, M., Sojka, E.: Hierarchical fast mean-shift segmentation in depth images. In Proceedings of the 17th International Conference on Advanced Concepts for Intelligent Vision Systems, ACIVS 2016, pp. 441-452 (2016) [21] Fusek, R., Sojka, E.: Energy transfer features combined with dct for object detection. Signal, Image and Video Processing, Volume 10, Issue 3, 1 March 2016, pp. 1-8 (2016) [22] Kuncicky, R., Licev, L., Krumnikl, M., Feberova, K., Hendrych, J. Sine inverter controller with 8 bit microcontroller (2016) Advances in Electrical and Electronic Engineering, 14 (3), pp. 287-294. [23] Stebel, J., Krumnikl, M., Moravec, P., Olivka, P., Seidl, D. Neural network classification of SDR signal modulation (2016) Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 9842 LNCS, pp. 160-171. [24] Gaura, J., Sojka, E.: Normalised Diffusion Cosine Similarity and its Use for Image Segmentation, In Proceedings of the International Conference on Pattern Recognition Applications and Methods, (ICPRAM 2015), pp. 121-129, (2015) [25] Krumnikl, M., Sojka, E., Gaura, J. Fuzzy C-means stereo segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 9443, pp. 35-49 (2015) [26] Holusa, M., Sojka, E.: A k-max Geodesic Distance and its Application in Image Segmentation. In Proceedings of the 16th International Conference on Computer Analysis of Images and Patterns, pp. 618-629 (2015) [27] Olivka, P. and Hrabal, J. and Seidl, D. and Moravec, P. and Krumnikl, M.: Microcontroller peripheral mapping used to control RGB LED panel. In Proceedings of 13th IFAC and IEEE Conference on Programmable Devices and Embedded Systems, PDES 2015, pp. 436-441 (2015) [28] Krumnikl, M. and Moravec, P. and Olivka, P. and Seidl, D.: EM410x RFID cloned card detection system. In Proceedings of the 5th International Conference on Pervasive and Embedded Computing and Communication Systems, PECCS 2015, pp. 76-82 (2015)

Ing. David Seidl, Ph.D.
Ing. Martin Němec, Ph.D.
Ing. Pavel Moravec, Ph.D.
Ing. Petr Olivka, Ph.D.
Ing. Tomáš Fabián, Ph.D.
Ing. Jan Gaura, Ph.D.
Ing. Radovan Fusek, Ph.D.
Ing. Daniel Stříbný
Ing. Michael Holuša, Ph.D.
Mgr. Ing. Michal Krumnikl, Ph.D.
Ing. Radek Simkanič, DiS
Ing. Richard Zvonek
Bc. David Štěpaník
Ing. Daniel Trnka
Bc. Jan Kněžík
Bc. Marek Kneys
Ing. Marek Šimoník
Ing. Vojtěch Ihn
Bc. Tomáš Chovančík
Ing. Markéta Faltýnková
Bc. Lukáš Mrvečka
Bc. Adam Maják
Bc. Marcel Jurišta
Bc. Michal Falát
Ing. Václav Štula
Bc. Michal Jež
Ing. Jakub Halman
Bc. Ondřej Foukal
Bc. Petr Dihel
Ing. Lukáš Klein
Bc. Dušan Kučeřík
Bc. Tomáš Klubal
Bc. Jan Pyszko
Bc. Radek Kopecký
Bc. Ing. Stanislav Sehnal
Ing. Filip Šafránek
Bc. Martin Gaier
Bc. Bára Groňová
Bc. Dominik Namyslo
Bc. Pavel Mandrla
Bc. Jakub Kolařík
doc. Dr. Ing. Eduard Sojka

Algoritmy zpracování obrazu v průmyslových a dopravních systémech s využitím hlubokých neuronových sítí. Vizualizace v prostředí virtuální a rozšířené reality. Nové algoritmy pro segmentaci obrazu, zejména algoritmy založené na měření vzdáleností v obrazech. Rozpoznání objektů s pomocí LIDARových mračen a hloubkové mapy z RGBD kamer, paralelní varianty výše uvedených algoritmů. Optimalizace algoritmů pro paralelní architektury (CUDA, OpenCL, OpenMPI).

Publikace ve výše uvedených oblastech.