Stranice predmeta

Ponavljanje i uvođenje osnova iz teorije verovatnoće potrebnih za kurs. Diskretne i kontinualne slučajne promenjive, očekivanje, momenti, uslovne raspodele. Osnovne definicije iz teorije grafova potrebne za terminlogiju i definisanje probabilističkih grafičkih modela. Osnovni probabilistički grafički modeli: Belief Networks. Uslovne raspodele, uslovna nezavisnost, ustanovljavanje nezavisnosti slučajnih promenjivih na osnovu grafičkih modela, koncept separacije u grafičkim modelima i veza sa uslovnom nezavisnošću. Uvod u osnovne grafičke modele pored Belief Networks, kao što su Markovljeve mreže i Markovljeva slučajna polja ili Markovljevi lanci kao specijalni slučajevi, Faktor grafovi. Uvod u algoritme probabilističkog zaključivanja. Zaknjučivanje na osnovu marginalnih raspodela slučajnih promenjivih. Algoritmi za efikasno izračunavanje marginalnih raspodela (algoritmi marginalizacije), klasa algoritama sa razmenama poruka (message passing), Sum-Product algoritam. Algoritmi za efikasno izračunavanje moda združene raspodele sistema slučajnih promenjivih, Max-Product algoritam. Učenje u probabilističkim grafičkim modelima, učenje strukture gragičkog modela i učenje uslovnih raspodela unutar grafičkog modela iz podataka. Naive Bayes, Maximum Likelihood učenje. Učenje modela koji sadrži skrivene promenjeive. Expectation-Maximization algoritam. Varijacioni Belief-Propagation algoritmi, Generalizovani Belief-Propagation algoritam, primene u statističkoj fizici, obradi signala, veze Belief-Propagation algoritama i kompresovanog odabiranja, veze Belief-Propagation algoritama i dubokog učenja, i druge napredne teme. Sadržajna struktura praktične nastave će pratiti strukturu teorijske nastave, fokusirajući se na programsku implementaciju algoritama za konstrukciju probabilističkih grafičkih modela i probabilističko zaključivanje upotrebom Belief-Propagation algoritama. Razvoj algoritama od osnovnih elemenata do napredne implementacije biće realizovan u odgovarajućim programskim okruženjima (po izboru studenta pri realizaciji predmetnog projekta).