Courses – Fakultet tehničkih nauka u Novom Sadu

Subject: (22.EAI018)

Type of studies	Title
Master Academic Studies	Artificial Intelligence and Machine Learning (Year: 1, Semester: Winter)
Master Academic Studies	Artificial Intelligence and Machine Learning (Year: 1, Semester: Winter)

General information:

Category	Scientific-professional
Scientific or art field	Telecommunications and Signal Processing
ECTS	6

Cilj predmeta je da student razume osnovne elemente teorije probabilističkih grafičkih modela kao fundamentalnog alata za modelovanje probabilističkih sistema (u koje spadaju gotovo svi realni sistemi) i razume i stekne rutinu u implementaciji široke klase algoritama za probabilističko zaključivanje popularnih pod nazivom Belief-Propagation (BP) algoritmi.

Nakon uspešnog završetka ovog kursa studenti će biti sposobni da: - razumeju osnovnu ideju i primene probabilističkih grafičkih modela - razlikuju brojne klase probabilističkih grafičkih modela i razumeju koji od njih su pogodni za koje primene - razumeju matematički kako se formuliše i kakav problem rešava Belief-Propagation algoritam primenjen u probabilističkim grafičkim modelima - razumeju osnove vezane za tačnost i konvergenciju Belief-Propagation algoritama - primene Belief-Propagation nad primerom realnog sistema, urade programsku implementaciju sa akcentom na efikasnost implementacije, i protumače rezultate.

Ponavljanje i uvođenje osnova iz teorije verovatnoće potrebnih za kurs. Diskretne i kontinualne slučajne promenjive, očekivanje, momenti, uslovne raspodele. Osnovne definicije iz teorije grafova potrebne za terminlogiju i definisanje probabilističkih grafičkih modela. Osnovni probabilistički grafički modeli: Belief Networks. Uslovne raspodele, uslovna nezavisnost, ustanovljavanje nezavisnosti slučajnih promenjivih na osnovu grafičkih modela, koncept separacije u grafičkim modelima i veza sa uslovnom nezavisnošću. Uvod u osnovne grafičke modele pored Belief Networks, kao što su Markovljeve mreže i Markovljeva slučajna polja ili Markovljevi lanci kao specijalni slučajevi, Faktor grafovi. Uvod u algoritme probabilističkog zaključivanja. Zaknjučivanje na osnovu marginalnih raspodela slučajnih promenjivih. Algoritmi za efikasno izračunavanje marginalnih raspodela (algoritmi marginalizacije), klasa algoritama sa razmenama poruka (message passing), Sum-Product algoritam. Algoritmi za efikasno izračunavanje moda združene raspodele sistema slučajnih promenjivih, Max-Product algoritam. Učenje u probabilističkim grafičkim modelima, učenje strukture gragičkog modela i učenje uslovnih raspodela unutar grafičkog modela iz podataka. Naive Bayes, Maximum Likelihood učenje. Učenje modela koji sadrži skrivene promenjeive. Expectation-Maximization algoritam. Varijacioni Belief-Propagation algoritmi, Generalizovani Belief-Propagation algoritam, primene u statističkoj fizici, obradi signala, veze Belief-Propagation algoritama i kompresovanog odabiranja, veze Belief-Propagation algoritama i dubokog učenja, i druge napredne teme. Sadržajna struktura praktične nastave će pratiti strukturu teorijske nastave, fokusirajući se na programsku implementaciju algoritama za konstrukciju probabilističkih grafičkih modela i probabilističko zaključivanje upotrebom Belief-Propagation algoritama. Razvoj algoritama od osnovnih elemenata do napredne implementacije biće realizovan u odgovarajućim programskim okruženjima (po izboru studenta pri realizaciji predmetnog projekta).

Predavanja se izvode uz PowerPoint prezentacije. Praćena su računarskim i laboratorijskim vežbama i sesijama diskutovanja ključnih radova u oblasti uz praćenje i video prezentacija vodećih autora iz oblasti. Kompanije koje primenjuju probabilističke grafičke modele primaće studente na praksu, i omogućiće izradu samostalnih studentskih projekata u koordinaciji sa predavačem kursa. Predispitne obaveze činiće uspešno završen i odbranjen samostalni studentski projekat - uslov za izlazak na ispit je 35 od 70 bodova.Ispit će pratiti redovna izrada i provera domaćih zadataka. Preostali pismeni deo ispita polagaće se u redovnim ispitnim rokovima.

Authors	Title	Year	Publisher	Language
Christopher Bishop	Pattern Recognition and Machine Learning	2011	Springer	English
Daphne Koller, Nir Friedman	Probabilistic Graphical Models	2009	MIT Press	English
David Barber	Bayesian Reasoning and Machine Learning	2012	Cambridge University Press	English