Fakultet tehničkih nauka

Predmet: Informacije u multimediji (22.EAI041)

Osnovne informacije:
 
Kategorija Stručno-aplikativni
Uža naučna oblast Informaciono-komunikacioni sistemi
ESPB 6

Cilj predmeta je da se studenti upoznaju sa tehnikama i alatima veštačke inteligenicije koji se mogu koristiti za ekstrakciju informacija u mulitmedijalnim sistemima, primenom metoda i tehnika za obradu slika, videa, zvuka i teksta. Studenti će biti osposobljeni za razvoj programskih rešenja za obradu multimedijalnih sadržaja zasnovanih na kombinaciji metoda i tehnika klasične veštačke inteligencije i dubokog učenja. U okviru kursa, studenti će imati priliku da učestvuju u praktičnoj radionici NVIDIA instituta za duboko učenjeDeep Learning Institute (DLI), koja će studentima obezbediti praktično iskustvo u razvoju i primeni sistema dubokog učenja na savremenim GPU platformama i serverima u oblaku.

Studenti će po završetku kursa imati znanja i veštine koje će im omogućiti da koriste tehnike veštačke inteligencija za rešavanje praktičnih problema iz domena primene informacionih tehnologija u multimedijalnim sistemima. Pored toga steći će praktične veštine razvoja programskih rešenja korišćenjem OpenCV, Pythonscikit-image, Caffe, TensorFlow i PyTorch okruženja za modelovanje i treniranje dubokih neuronskih mreža. Kroz praktičan trening baziran na NVIDIA DLI radionicama studenti će razviti i primeniti praktične sisteme dubokog učenja na serverima u oblaku i imati priliku da steknu NVIDIA DLI sertifikat osposobljenosti za razvoj sistema veštačke inteligencije koji kombinuju različite tipove podataka (tekst, slika i video).

Predmet će pokriti sledeće oblasti: pregled osnovnih koncepata akvizicije i čuvanja vizuelnih i audio signala, reprezentacija podataka, filtriranje, konvolucija, interpolacija. Geometrijske operacije nad slikama, matematička morfologija, detekcija ivica, segmentacija slike, ekstrakcija obeležja iz slike. Osnovna znanja iz domena ekstrakcije informacija iz zvučnih zapisa i teksta. Tehnike estimacije kretanja, detekcija i praćenja objekata u videu. Relevantne metode učenja u sistemima sa dubokom arhitekturom (Deep Learning<-eng>) i primene ovih sistema za analizu velikih količina multimedijalnih podataka. Teorijsku nastavu će pratiti praktična obuka iz implementacije programskih rešenja (modela neuronskih mreža) u okruženjima OpenCV, Pythonscikit-image, Caffe, TensorFlow i PyTorch i na platformama za masivnu paralelnu obradu podataka u oblaku. Studenti će u okviru predmeta proći kroz radionicu NVIDIA DLI koja se bavi razvojem sistema koji rade sa različitim tipovima podataka (npr. tekst, slika i video).

Predavanja i laboratorijske vežbe, testovi i individualni zadatak (projekat). U okviru vežbi će studenti biti osposobljeni za implementaciju programskih rešenja u programskom okruženju OpenCV, Pythonscikit-image, Caffe, TensorFlow i PyTorch, kroz odgovarajuće radionice NVIDIA DLI. Usvajanje teoretskih znanja sa predavanja će se proveravati testovima i na usmenom ispitu, a individualni zadatak će uključivati praktičnu implementaciju sistema mašinskog učenja baziranih na dubokom učenju, odgovarajuće složenosti u saradnji sa kompanijama koje primenjuju duboko učenje i u okviru prakse na koju će primiti studente u koordinaciji sa predavačem kursa. Predispitne obaveze činiće uspešno završen i odbranjen samostalni predmetni projekat, kao i skupljen adekvatan broj bodova sa vežbi - uslov za izlazak na ispit je 25 od 50 bodova.

Autori Naziv Godina Izdavač Jezik
Adrian Kaehler, Gary Bradski Learning OpenCV 2013 OReilly Engleski
Goodfellow, I., Bengio, Y., Courville, A. Deep Learning 2017 MIT Press Engleski
Ћулибрк, Д. Откривање знања из података: одабрана поглавља 2012 CreateSpace Srpski jezik
Predmetna aktivnost Predispitna Obavezna Broj poena
Predmetna aktivnost
Usmeni deo ispita
Predispitna
Ne
Obavezna
Da
Broj poena
30.00
Predmetna aktivnost
Test
Predispitna
Da
Obavezna
Da
Broj poena
10.00
Predmetna aktivnost
Složeni oblici vežbi
Predispitna
Da
Obavezna
Da
Broj poena
30.00
Predmetna aktivnost
Projektni zadatak
Predispitna
Da
Obavezna
Da
Broj poena
30.00
Predavanja
API Image

prof. dr Pap Ištvan

Redovni profesor

Predavanja
Računarske vežbe
Računarske vežbe