Studentská grantová soutěž

Paralelní architektury a algoritmy pro zpracování obrazu VI

SP2025/036

Gaura Jan Ing., Ph.D.

01. 01. 2025 - 31. 12. 2025

Projekt s názvem "Paralelní architektury a algoritmy pro zpracování obrazu VI" navazuje na předchozí projekty, které se soustředily na hledání nových algoritmů pro zpracování obrazových, hloubkových a lidarových dat, zejména v oblasti detekce objektů, segmentace obrazu a vizualizace 3D dat s využitím prvků virtuální a rozšířené reality. V rámci projektu se zkoumají možnosti paralelizace vyvíjených algoritmů. Toto zkoumání je zaměřeno na dvě hlavní oblasti: využití grafických procesorových jednotek (GPU) v pracovních stanicích a možnosti mobilních a embedded platforem, které mohou být umístěny přímo v místě zpracování dat, i když nemají výkon pracovních stanic. Kromě metod založených na matematických základech, jako jsou například grafové řezy a aplikace difuzních procesů, se tým řešitelů také zaměřuje na aplikace a výzkum hlubokých neuronových sítí. Stejně jako v předchozích projektech se věnuje pozornost i aplikačnímu potenciálu nových algoritmů. Prioritou je vývoj algoritmů vhodných pro aplikace, které jsou prakticky relevantní pro fakultu, jako jsou průmyslové aplikace, aplikace v inteligentních systémech řízení dopravy (např. detekce a registrace objektů, sledování trajektorií, hodnocení rizikového chování) a aplikace pro rozšířenou realitu. V rámci projektu je klíčovou částí prezentace dosažených výsledků na mezinárodně uznávaných fórech specializujících se na tuto problematiku. S ohledem na praktické využití získaných poznatků jsou zkoumané oblasti považovány za perspektivní, což podporuje nárůst poptávky po výsledcích v této oblasti. Řešitelský tým má v uvedených oblastech tradici a úspěchy při získávání průmyslových projektů. Projekt se skládá z následujících částí: 1. Algoritmy pro zpracování obrazu a vizualizaci 3D dat. 2. Interakce virtuální reality s fyziologickými reakcemi uživatelů 3. Generativní sítě pro obohacení virtuálního prostředí 4. Neuronové sítě na embedded systémech pro IoT aplikace Část 1: Algoritmy pro zpracování obrazu a vizualizaci 3D dat. Tato část projektu se zaměřuje na oblast sledování řidiče, které se členové řešitelského týmu intenzivně věnují již několik let. Cílem je analyzovat chování řidiče v automobilu s důrazem na detekci únavy a sledování jeho zdravotního stavu. Klíčové prvky této analýzy zahrnují: Detekci obličejových a tělesných rysů: Identifikace obličeje, očí (včetně duhovky, zornice a očních víček), pozice rukou, ramen, nohou a natočení hlavy. Funkčnost v náročných podmínkách: Systém musí být schopen spolehlivě fungovat i v podmínkách sníženého osvětlení. Využití RGBD senzorů: Současný výzkum se zaměřuje na hodnocení senzorů jako Kinect, RealSense a Orbbec pro jejich potenciál v této aplikaci. Pro dosažení těchto cílů budou implementovány algoritmy strojového učení, se zaměřením na hluboké a konvoluční neuronové sítě, které umožní robustní a přesnou analýzu. Tento systém může přispět k bezpečnosti provozu i k pohodlí a zdraví řidičů. Část 2: Interakce virtuální reality s fyziologickými reakcemi uživatelů Cílem druhé části navrhovaného projektu je propojit virtuální realitu (VR) a skutečný svět prostřednictvím měření fyziologických reakcí uživatelů, jako je srdeční tep, vodivost kůže nebo dechová frekvence. Tyto reakce budou využity k dynamické úpravě scén generovaných ve VR, které budou reagovat například na stres, nervozitu či úlek uživatele. Předpokládané aplikace projektu zahrnují: Rehabilitační péči: Technologie umožní pacientům upoutaným na lůžko nebo s omezenou mobilitou zapojit se do interaktivních terapeutických scén, které budou přizpůsobené jejich momentálnímu fyziologickému stavu. To může zlepšit jejich psychickou pohodu a motivaci k rehabilitaci. Kognitivně behaviorální terapie: Dynamická povaha systému poskytne nové možnosti pro léčbu a zmírňování fobií, úzkostí či stresových poruch. Virtuální prostředí může být upravováno v reálném čase podle emocí uživatele, čímž se vytvoří bezpečný prostor pro nácvik zvládání obtížných situací. Projekt klade důraz na interdisciplinární přístup kombinující technologie, psychologii a zdravotnictví, což zajišťuje širokou využitelnost výsledků v praxi. Vývoj systému má potenciál nejen poskytnout inovativní terapeutické nástroje, ale také přispět k dalšímu rozvoji virtuální reality ve zdravotnickém prostředí. Část 3: Generativní sítě pro obohacení virtuálního prostředí Další oblastí, na kterou se projekt zaměřuje, je využití výstupů generativních neuronových sítí v prostředí virtuální (VR) a rozšířené reality (AR). Cílem je obohatit vizuální zážitek uživatelů o obsah, který bude v reálném čase generován na základě jejich podnětů, reakcí nebo interakcí v prostředí VR/AR. Klíčovou součástí této technologie budou generativní sítě, jako jsou Generative Adversarial Networks (GAN) a Variational Autoencoders (VAE). Tyto modely budou využívány k vytvoření dynamických a personalizovaných vizualizací. Možné přístupy zahrnují: Vstup na základě slovního popisu uživatele: Uživatel by mohl pomocí slovního vyjádření zadat, co si přeje zobrazit, a systém by na základě tohoto popisu vygeneroval příslušný vizuální obsah. Vizualizace přání či emocí: Na základě fyziologických dat (např. srdeční tep, vodivost kůže) nebo interakcí ve VR by systém mohl odhadnout přání nebo emocionální stav uživatele a generovat odpovídající vizuální scény. Reakce na chování uživatele ve VR: Dynamická změna prostředí podle akcí uživatele, například generování nových prvků nebo upravování prostředí v reálném čase. Tato část projektu se zaměří na výzkum možností generativních modelů ve spojení s VR/AR a jejich přínos v oblastech personalizace, kreativity a interakce. Předpokládané výstupy zahrnují nejen technický rozvoj VR/AR systémů, ale i nové možnosti aplikací v terapii, vzdělávání nebo umění. Část 4: Neuronové sítě na embedded systémech pro IoT aplikace Čtvrtou oblastí projektu je aplikace neuronových sítí na embedded systémy, které se vyznačují nízkým výpočetním výkonem, avšak nabízejí výhodu nízkých nákladů a miniaturního provedení. Tyto vlastnosti je činí ideálními pro implementaci v kontextu internetu věcí (IoT), kde mohou být snadno integrovány do různých zařízení a aplikací. Cílem této části projektu je posunout embedded systémy z úrovně pouhých senzorů měřících fyzikální veličiny (např. teplotu, vlhkost, tlak, pohyb) na úroveň pokročilých vyhodnocovacích jednotek. Využitím neuronových sítí budou tato zařízení schopna: Rozpoznávat složité vzorce a struktury v datech: Namísto pouhého sběru dat budou systémy schopny analyzovat měření v reálném čase a identifikovat relevantní vzorce, například změny, které signalizují specifické události nebo stavy. Imitovat expertní systémy: Díky pokročilým algoritmům strojového učení mohou embedded systémy poskytovat doporučení nebo varování na základě analyzovaných dat, což přibližuje jejich funkčnost expertním systémům. Optimalizace výkonu: Výzkum se zaměří na možnosti optimalizace modelů neuronových sítí (např. kvantizace, pruning nebo distilace znalostí), aby mohly být efektivně implementovány i na hardwarově omezených platformách, jako jsou mikrokontroléry (ESP32, STM32) či specializované IoT čipy. Aktuálním výzkumným tématem je též problematika odhadu počtu osob v dopravních prostředcích. K dosažení tohoto cíle se využívá škála různých přístupů, které kombinují informace z přepravních systémů, kamerových systémů, čidel umístěných na dveřích a v dalších částech vozidel, signalizačních dat mobilních sítí apod. Jednou z inovativních možností je pasivní analýza WiFi signálů a zpráv generovaných dopravními prostředky v rámci Intelligent Transportation System (ITS). Prostřednictvím analýzy provozu a korelace zachycených dat se vyvíjí algoritmus, který se snaží odhadnout počet zařízení (osob), které se nacházejí v dosahu přijímače a právě nastupují, vystupují nebo se přepravují sledovaným dopravním prostředkem. Očekávané výsledky této části projektu zahrnují návrh a implementaci lehkých a energeticky úsporných řešení pro IoT zařízení, která budou schopna autonomně vyhodnocovat data přímo na místě jejich sběru. Tato technologie nalezne uplatnění například ve zdravotnictví (monitorování vitálních funkcí), průmyslu (prediktivní údržba), nebo v oblasti chytrých domácností a měst. Vybrané publikace řešitelského týmu [1] KLEIN, Lukáš, Ivan ZELINKA a David SEIDL. Optimizing parameters in swarm intelligence using reinforcement learning: An application of Proximal Policy Optimization to the iSOMA algorithm. Swarm and Evolutionary Computation. San Diego: Elsevier, 2024, 85(101487), s. nestránkováno. ISSN 2210-6502. [2] KLEIN, L., DVORSKÝ, J., SEIDL, D., PROKOP, L. Novel lossy compression method of noisy time series data with anomalies: Application to partial discharge monitoring in overhead power lines. Engineering Applications of Artificial Intelligence, 2024, roč. 133, č. 108267, s. nestránkováno. [3] KRUMNIKL, Michal a Vojtěch MAIWALD. Facial Emotion Recognition for Mobile Devices: A Practical Review. IEEE Access. Piscataway: IEEE - Institute of Electrical and Electronics Engineers, 2024, 12(25 January 2024), s. 15735-15747. ISSN 2169-3536. [4] Fusek, R., Halman, J., Sojka, E., Gaura, J. Detection of Dangerous Driver Health Problems Using HOG-Autoencoder. Lecture Notes on Data Engineering and Communications Technologies, 182, s. 454 - 464, ISCV 2023, 2023. [5] Vašinková, M., Krumnikl, M., Mikulková, Z., Gajdoš, P., Kriegová, E. Simple Approach for Dynamics Evaluation of Scratch Wound Healing Assay. In: Barolli, L., Miwa, H. (eds) Advances in Intelligent Networking and Collaborative Systems. INCoS 2022. Lecture Notes in Networks and Systems, vol 527. Springer, Cham, 2022. [6] Fusek, R., Krömer, P. A Neural System for Acute Disease Detection from Facial Images. In: Barolli, L., Miwa, H. (eds) Advances in Intelligent Networking and Collaborative Systems. INCoS 2022. Lecture Notes in Networks and Systems, vol 527. Springer, Cham, 2022. [7] ŠIMONÍK, M., KRUMNIKL, M. Optimized hand pose estimation CrossInfoNet-based architecture for embedded devices. Machine Vision and Applications, 2022, roč. 33, č. 5, s. nestránkováno. [8] SEIDL, D., RUZIAK, I., JANCIKOVA, ZK., KOSTIAL, P. Sensitivity analysis: A tool for tailoring environmentally friendly materials. Expert Systems with Applications, 2022, roč. 208, č. 1 December 2022, 118039, s. nestránkováno. [9] Fusek, R., Sojka, E., Gaura, J., Halman, J. Driver State Detection from In-Car Camera Images. In: et al. Advances in Visual Computing. ISVC 2022. Lecture Notes in Computer Science, vol 13599. Springer, Cham, 2022. [10] Valuchova, S., Mikulkova, P., Pecinkova, J., Klimova, J., Krumnikl, M., Bainar, P., Heckmann, S., Tomancak, P., Riha, K., Imaging plant germline differentiation within arabidopsis flowers by light sheet microscopy. eLife, 9, art. no. e52546, 2020. [11] Fusek, R., Dobeš, P., Pupil localization using self-organizing migrating algorithm. Lecture Notes in Electrical Engineering, 554, s. 207-216, 2020. [12] Fusek, R., Dobeš, P. Pupil Localization Using Self-organizing Migrating Algorithm. In AETA 2018 - Recent Advances in Electrical Engineering and Related Sciences: Theory and Application, s. 207-216, 2019. [13] Fusek, R., Sojka, E. Iris Center Localization Using Geodesic Distance and CNN. In: Morales, A., Fierrez, J., Sánchez, J., Ribeiro, B. (eds) Pattern Recognition and Image Analysis. IbPRIA 2019. Lecture Notes in Computer Science, vol 11868. Springer, Cham, 2019. [14] Kožusznik, J., Bainar, P., Klímová, J., Krumnikl, M., Moravec, P., Svatoň, V., Tomančák, P. SPIM workflow manager for HPC. Bioinformatics, 35(19), s. 3875-3876, 2019. [15] Moravec, P., Kožusznik, J., Krumnikl, M., Klímová, J. Performance of user data collections uploads to HPCaaS infrastructure. In Lecture Notes in Computer Science, 11703 LNCS, s. 359-369, 2019. [16] Vantuch, T., Fulneček, J., Holuša, M., Mišák, S., Vaculík, J. An examination of thermal features' relevance in the task of battery-fault detection. Applied Sciences (Switzerland), 8(2), Article number 182, 2018. [17] Holý, B. Registration of Lines in 2D LIDAR Scans via Functions of Angles. Engineering Applications of Artificial Intelligence, 67, s. 436-442, 2018. [18]Holuša, M., Sojka, E. On the Stability of the k-Max Distance to the Position of Seeds. In Proceedings of the 25th IEEE International Conference on Image Processing, ICIP 2018, s. 261-265, 2018. [19] Krumnikl, M., Bainar, P., Klímová, J., Kožusznik, J., Moravec, P., Svatoň, V., Tomančák, P. SciJava interface for parallel execution in the ImageJ ecosystem. In Proceedings of the 17th International Conference on Computer Information Systems and Industrial Management, CISIM 2018, s. 288-299, 2018. [20] Fusek, R. Pupil localization using geodesic distance. In Proceedings of the 13th International Symposium on Visual Computing, ISVC 2018, s. 433-444, 2018.

Ing. Jan Gaura, Ph.D.
Mgr. Ing. Michal Krumnikl, Ph.D.
Ing. Tomáš Fabián, Ph.D.
Ing. Radovan Fusek, Ph.D.
Ing. Pavel Moravec, Ph.D.
Ing. Martin Němec, Ph.D.
Ing. Petr Olivka, Ph.D.
Ing. David Seidl, Ph.D.
doc. Dr. Ing. Eduard Sojka
Ing. Daniel Stříbný
Bc. Tomáš Blahuta
Bc. Nikola Cudráková
Bc. Daniel Dobeš
Bc. Adam Donocik
Bc. Matej Ďurana
Bc. Matěj Eliáš
Bc. Matěj Frič
Bc. Tomáš Janovský
Ing. Lukáš Klein
Bc. Kristián Kopera
Bc. Tomáš Svoboda
Bc. Filip Huser
Bc. Jan Přindiš
Bc. Roman Slanina
Bc. Denisa Krištanová
Bc. Martin Grnáč
Bc. Radek Melčák
Bc. Daniel Slavík
Bc. Filip Kostolný
Bc. Vojtěch Kříbek
Bc. Jakub Lhotský
Bc. Michal Maslík
Bc. Sofia Michailidu
Bc. Jan Pitala
Bc. Patrik Riečičiar
Bc. Jiří Večerík
Bc. Vojtěch Volný
Bc. Daniel Závodský
Mgr. Ing. Michal Krumnikl, Ph.D.

Projekt se zaměřuje na propojení virtuální reality s fyziologickými reakcemi uživatelů, monitorování chování řidičů, dynamické generování obsahu pomocí generativních neuronových sítí a aplikaci strojového učení na embedded systémech pro IoT. Tyto technologie umožní rehabilitaci pacientů, zvýší bezpečnost silničního provozu, a nabídnou novou formu personalizace virtuálních prostředí a autonomní analýzu dat přímo na místě.

Co se týče výstupů projektu, plánujeme zaslat minimálně dvě publikace do časopisů s hodnocením v Q1/Q2. Dále budeme připravovat materiály pro další příspěvky do indexovaných časopisů na základě dosažených výsledků. Připravíme také publikace na konference, zejména s cílem propojení s vědeckou komunitou a navázání dalších spoluprací. Přesný počet konferenčních příspěvků nelze předem stanovit, neboť budou sloužit především k prezentaci prvotních výsledků experimentů a studijních výsledků studentů v doktorském studijním oboru.