×
Универзитет у Новом Саду

Предмет: Информације у мултимедији (22.EAI041)

Основне информације:
 
Категорија Стручно-апликативни
Ужа научна област Информационо-комуникациони системи
ЕСПБ 6

Циљ предмета је да се студенти упознају са техникама и алатима вештачке интелигениције који се могу користити за екстракцију информација у мулитмедијалним системима, применом метода и техника за обраду слика, видеа, звука и текста. Студенти ће бити оспособљени за развој програмских решења за обраду мултимедијалних садржаја заснованих на комбинацији метода и техника класичне вештачке интелигенције и дубоког учења. У оквиру курса, студенти ће имати прилику да учествују у практичној радионици NVIDIA института за дубоко учењеDeep Learning Institute (DLI), која ће студентима обезбедити практично искуство у развоју и примени система дубоког учења на савременим GPU платформама и серверима у облаку.

Студенти ће по завршетку курса имати знања и вештине које ће им омогућити да користе технике вештачке интелигенција за решавање практичних проблема из домена примене информационих технологија у мултимедијалним системима. Поред тога стећи ће практичне вештине развоја програмских решења коришћењем OpenCV, Pythonscikit-image, Caffe, TensorFlow и PyTorch окружења за моделовање и тренирање дубоких неуронских мрежа. Кроз практичан тренинг базиран на NVIDIA DLI радионицама студенти ће развити и применити практичне системе дубоког учења на серверима у облаку и имати прилику да стекну NVIDIA DLI сертификат оспособљености за развој система вештачке интелигенције који комбинују различите типове података (текст, слика и видео).

Предмет ће покрити следеће области: преглед основних концепата аквизиције и чувања визуелних и аудио сигнала, репрезентација података, филтрирање, конволуција, интерполација. Геометријске операције над сликама, математичка морфологија, детекција ивица, сегментација слике, екстракција обележја из слике. Основна знања из домена екстракције информација из звучних записа и текста. Технике естимације кретања, детекција и праћења објеката у видеу. Релевантне методе учења у системима са дубоком архитектуром (Deep Learning<-eng>) i primene ovih sistema za analizu velikih količina multimedijalnih podataka. Teorijsku nastavu će pratiti praktična obuka iz implementacije programskih rešenja (modela neuronskih mreža) u okruženjima OpenCV, Pythonscikit-image, Caffe, TensorFlow i PyTorch i na platformama za masivnu paralelnu obradu podataka u oblaku. Studenti će u okviru predmeta proći kroz radionicu NVIDIA DLI koja se bavi razvojem sistema koji rade sa različitim tipovima podataka (npr. tekst, slika i video).

Предавања и лабораторијске вежбе, тестови и индивидуални задатак (пројекат). У оквиру вежби ће студенти бити оспособљени за имплементацију програмских решења у програмском окружењу OpenCV, Pythonscikit-image, Caffe, TensorFlow и PyTorch, кроз одговарајуће радионице NVIDIA DLI. Усвајање теоретских знања са предавања ће се проверавати тестовима и на усменом испиту, а индивидуални задатак ће укључивати практичну имплементацију система машинског учења базираних на дубоком учењу, одговарајуће сложености у сарадњи са компанијама које примењују дубоко учење и у оквиру праксе на коју ће примити студенте у координацији са предавачем курса. Предиспитне обавезе чиниће успешно завршен и одбрањен самостални предметни пројекат, као и скупљен адекватан број бодова са вежби - услов за излазак на испит је 25 од 50 бодова.

Аутори Назив Година Издавач Језик
Adrian Kaehler, Gary Bradski Learning OpenCV 2013 OReilly Енглески
Goodfellow, I., Bengio, Y., Courville, A. Deep Learning 2017 MIT Press Енглески
Ћулибрк, Д. Откривање знања из података: одабрана поглавља 2012 ЦреатеСпаце Српски језик
Предметна активност Предиспитна Обавезна Број поена
Предметна активност
Усмени део испита
Предиспитна
Не
Обавезна
Да
Број поена
30.00
Предметна активност
Тест
Предиспитна
Да
Обавезна
Да
Број поена
10.00
Предметна активност
Сложени облици вежби
Предиспитна
Да
Обавезна
Да
Број поена
30.00
Предметна активност
Пројектни задатак
Предиспитна
Да
Обавезна
Да
Број поена
30.00

Предавања

API Image

проф. др Иштван Пап

Редовни професор

Предавања

Рачунарске вежбе

Рачунарске вежбе