Doc. dr. Tome Eftimov

Tome Eftimov je raziskovalec na Odseku za računalniške sisteme Instituta »Jožef Stefan« in docent na Mednarodni podiplomski šoli IJS ter UL. Doktoriral je leta 2018. Raziskuje statistično analizo podatkov, optimizacijo, NLP, strojno učenje in AutoML. Objavil je več kot 160 znanstvenih del. Je podpredsednik IEEE TF za avtomatizirano načrtovanje algoritmov ter urednik pri Evolutionary Computation.

Kontakt

Raziskovalni program: Računalniške strukture in sistemi

Tema usposabljanja: Zanesljivo vrednotenje in razložljiva evalvacija velikih jezikovnih modelov skozi naloge in režime pozivanja

Veliki jezikovni modeli dosegajo izjemne rezultate na številnih nalogah, vendar so njihovi odzivi močno odvisni od formulacije pozivov (promptov), izbire nalog, domen ter ocenjevalnih metrik. Obstoječe evalvacijske prakse pogosto temeljijo na enkratnih primerjavah ali agregiranih rezultatih, ki ne omogočajo poglobljenega razumevanja, kdaj, zakaj in pod kakšnimi pogoji model deluje bolje ali slabše.

Program uvaja metodološki okvir za zanesljivo benchmarking okolje, ki vključuje:

sistematično analizo vpliva režimov pozivanja (npr. zero-shot, few-shot, chain-of-thought),
večnivojsko vrednotenje preko različnih nalog (klasifikacija, generiranje, sklepanje),
statistično zanesljive primerjave modelov,
oceno robustnosti, stabilnosti in generalizacije modelov.

Poseben poudarek je na razvoju razložljivih metrik in analitičnih orodij, ki omogočajo identifikacijo dejavnikov, ki vplivajo na uspešnost modelov (npr. dolžina poziva, struktura navodil, domena podatkov). Cilj je preseči zgolj rangiranje modelov ter omogočiti poglobljeno razumevanje njihovega vedenja skozi naloge in scenarije uporabe. Program bo prispeval k večji transparentnosti, reproducibilnosti in zaupanju v uporabo velikih jezikovnih modelov v znanosti, industriji in javnem sektorju ter postavil temelje za odgovorno in podatkovno podprto odločanje pri izbiri modelov in strategij pozivanja.