Stranice predmeta

Teorijska nastava 1. Vizuelizacija nastajanja i prostiranja zvučnih talasa: frekvencija, talasna dužina i brzina zvuka. Refleksija i apsorpcija, difuzija, zakretanje i prelamanje zvuka, stojeći talasi, Doplerov efekat. Ultrazvuk, eholokacija, sonar. Direktni i reverberantni zvuk, apsorpcija i vreme reverberacije. 2. Impulsni odziv i prenosna karakteristika audio sistema. Furijeova analiza audio signala. Subjektivni osećaj jačine zvuka, visine tona i boje zvuka. 3. Psihofiziološki aspekti percepcije zvuka. Binauralna lokalizacija, prenosna karakteristika do čula sluha i impulsni odziv glave. Stereo prezentacija, surround i 3D zvuk. Efekat maskiranja i koktel-parti efekat. 4. Mikrofonski nizovi: Klasično optimalno filtriranje: Vinerov, Frostov i Kalmanov filtar. Konvencionalne tehnike prostornog filtriranja, (beamforming) pomoću mikrofonskih nizova: pristup "zakasni i saberi", dizajn nepromenljivog snopa, filtar sa maksimalnim odnosnom signal šum. Adaptivne tehnike prostornog filtriranja pomoću mikrofonskih nizova: Vinerov prostorni filtar MVDR, LCMF. 5. Percepcija video signala. Vizuelna percepcija kod čoveka i životinja (niži nivoi obrade i viši kognitivni procesi). Ciljevi kompjuterskog vida. Predstava slike, celovitost percepcije – geštalt zakoni grupisanja i Helmholcov princip. Propagacija svetlosti, tipovi sočiva, izvori osvetljenja, ugao posmatranja i perspektiva. Aktivni (Lidar, RGBD) i pasivni senzori slike. Metode za snimanje na bazi rekonstrukcije. 6. Percepcija 3D prostora, binokularni vid i procena dubine. Uloga ivica i tekstura. Problem vizuelne pretrage i opisa sadržaja. Prednji plan i pozadina. Mehanizam privlačenja pažnje (engl. saliency detection) i njegova uloga u procesu podučavanja sistema kompjuterske vizije. Subjektivne i objektivne mere kvaliteta. Monokularni vid i tehnike mašinskog učenja za njegovo poboljšanje i adaptaciju. 7. Audio-vizuelna analiza scene. Fuzija multisenzorskih informacija i njihovo zajedničko modelovanje. Kasna fuzija, rana fuzija i hibridna fuzija. Primene: lokalizacija zvučnog izvora u videu i heat mape, audio-vizuelno prepoznavanje akcija u videu, klasifikacija audio-vizuelnih scena. Uvod u federated learning sa primenom kod nedeljenih multimodalnih podataka (u vlasništvu različitih entiteta). Praktična nastava Predmet je pretežno teorijskog karaktera, a vežbe su usmerene na praktičnu primenu obimnih baza audio-video snimaka metodama veštačke inteligencije. Takođe će dati uvid i osnovne smernice u vezi sa samim kreiranjem audio-vizuelnih baza (npr. putem Android aplikacije, planiranje postavke opreme za akviziciju podataka/signala, primere i značaj staged recordings) i različitih koraka njihove pripreme za dalju obradu, uključujući audio-vizuelnu anotaciju i odgovarajuće aktuelne softverske pakete (npr. ELAN), kreiranje ontologija za klasifikaciju na osnovu analize događaja, i sl.