Naraščajoča kompleksnost kibernetskih groženj ter vse širša uporaba umetne inteligence (UI) v digitalnih sistemih zahtevata pristope, ki hkrati izkoriščajo UI za krepitev kibernetske varnosti in zagotavljajo varnost samih sistemov UI. To raziskovalno področje zato obravnava UI za kibernetsko varnost – uporabo metod umetne inteligence za izboljšanje zaznavanja groženj, odzivanja na incidente in varnostnih operacij – ter kibernetsko varnost za UI, ki se osredotoča na zaščito modelov UI, podatkov in infrastrukture pred adversarialnimi napadi, manipulacijo in zlorabo. Program je namenjen usposabljanju mladih raziskovalcev za razvoj zanesljivih, odpornih in človeku prilagojenih rešitev kibernetske varnosti, ki temeljijo na umetni inteligenci.
Raziskave se bodo osredotočale na razvoj tehnologij kibernetske varnosti, podprtih z UI, ter na zaščito sistemov umetne inteligence, med drugim na:
- Zanesljivo in razložljivo UI za varnost: razvoj metod razložljive umetne inteligence (XAI), ki povečujejo transparentnost, interpretabilnost in zaupanje v avtomatizirane varnostne odločitve.
- Sodelovanje človek-UI v varnostnih operacijah: razvoj prilagodljivih agentov UI, ki podpirajo varnostne analitike in izboljšujejo odločanje v varnostno-operativnih centrih (SOC).
- Zaznavanje groženj in odzivanje na incidente z uporabo UI: uporaba metod strojnega učenja za avtomatizirano prepoznavanje, analizo in obvladovanje kibernetskih groženj ob hkratnem ohranjanju človeškega nadzora.
- Varnost in robustnost sistemov UI: raziskovanje metod za zaščito modelov UI pred adversarialnimi napadi, zastrupljanjem podatkov, krajo modelov in drugimi grožnjami, usmerjenimi v infrastrukture UI.
- Kibernetska varnost kritičnih infrastruktur: razvoj varnostnih arhitektur, podprtih z UI, za industrijske nadzorne sisteme, digitalne dvojčke in okolja interneta stvari (IoT).
- Skladnost z regulativnimi in etičnimi okviri: zagotavljanje skladnosti rešitev kibernetske varnosti, ki temeljijo na UI, z relevantnimi regulativnimi okviri (npr. GDPR, NIS2 direktiva, Akt o kibernetski odpornosti, EU Akt o umetni inteligenci).
Kandidati bodo uporabljali multidisciplinaren pristop, ki združuje kibernetsko varnost, umetno inteligenco, interakcijo človek–računalnik in sistemsko inženirstvo. Ključne raziskovalne metode lahko vključujejo generiranje varnostnih politik z uporabo UI, analizo človeških dejavnikov pri avtomatizaciji SOC, federativno in zasebnost ohranjajoče učenje za sodelovalno analizo groženj ter eksperimentalno vrednotenje v simulacijskih okoljih, kot so kibernetski poligoni, digitalni dvojčki in testiranja penetracij.
S tem bodo mladi raziskovalci prispevali k razvoju naslednje generacije okvirov kibernetske varnosti, ki krepijo tako uporabo umetne inteligence za kibernetsko obrambo kot tudi zaščito sistemov UI, ter s tem podpirajo bolj odporne, zanesljive in varne digitalne infrastrukture.