Предмет: Принципи дубоког учења (22 - EAI002)


Основне информације

КатегоријаТеоријско-методолошки
Научна областТелекомуникације и обрада сигнала
МултидисциплинарнаНе
ЕСПБ6
Матичне организационе јединице предмета

Тренутно нема података о матичним организационим јединицама предмета!
Програм предмета

Програм се примењује од 16.09.2020..

Циљ предмета је да студент разуме принципе функционисања дубоких неуронских мрежа и да се оспособи за њихову ефикасну имплементацију при решавању великог броја практичних проблема машинског учења.
Студенти који успешно савладају градиво на предмету умеју да самостално: - креирају, обуче и примене дубоке неуронске мреже различитих архитектура над разнородним подацима; - евалуирају и анализирају перформансе модела; - модификују хиперпараметре тако да се добије тачнији и робустнији модел; - јасно дефинишу, интерпретирају и дискутују постојеће алгоритме; - ефикасно прате нове научне радове и разумеју нова решења у области дубоког учења.
Теоријска настава Модел дубоке неуронске мреже: елементи (неурон и активационе функције, параметри мреже), циљне функције (квадратно растојање и унакрсна ентропија). Оптимизација за обуку дубоких модела: одређивање параметара мреже, алгоритам пропагације уназад, алгоритам градијентног опадања (batch, стохастички, mini-batch), моментум, Несторов убрзани градијент, Адаград, Ададелта, RMSProp, Ада, АдаМакс, Адам, Надам, AMSGrad. Регуларизација за дубоко учење: L1, L2 регуларизаиција, dropout и разлике између њих. Конволуционе неуронске мреже: конволуција и померање по улазним подацима, додавање нула, агрегација информација и рад с више канала. Упознавање са архитектура које се користе у пракси (AlexNet, VGG (Visual Geometry Group), NiN (Network in Network), GoogLeNet, ResNet, DenseNet). Моделовање временских секвенци: рекурентне мреже и статистички приступ преко Марковљевих модела. Обука с повратком у времену и начини ефикасног пресликавања секвенце у секвенцу (похлепна претрага, исцрпна претрага, beam search). Поређење архитектура савремених рекурентних неуронских мрежа: Gated Recurrent Units (GRU), Long Short Term Memory (LSTM) и Bidirectional Recurrent Neural Networks (BRNN). Механизми пажње у дубоком учењу односно математичком моделовању. Неуронске мреже на графу: подаци организовани у граф, репрезентација чворова, класификација чворова, предикције над графом или деловима графа, учење нових веза и сл. Аутоенкодери: процена могућности репрезентације модела у зависности од величине неуронске мреже, као и могућности учења ретке репрезентације улазних података или уклањања шума. Дубоки генеративни модели: модели за учење расподеле вишедимензионалних улазних података, (варијациони и генеративни аутоенкодери VAE, GAN). Методе за интерпретацију одлука (explainable AI) као што су: интерпретабилни локални сурогати, анализа оклузија, интегрирани градијенти и пропагације релевантности по слојевима мреже. Практични методолошки савети с примерима примене: савети за имплементацију модела и предностима појединих архитектура неуронских мрежа. За сваку наставну јединицу ће се утврдити предзнање и прилагодити ниво и обим предавања. Практична настава Циљ рачунарских вежби је да оспособе студената за самосталну имплементацију научених метода. Биће демонстрирани сви релевантни практични аспекти дубоког учења – иницијализација, регуларизација, нормализација, подешавање хиперпараметара, оптимизациони поступци, евалуација. Домаћи задаци имају за циљ да охрабре студенте да самостално реализују научене методе и тако уоче потенцијалне пропусте у свом знању, док у изради пројекта треба да се примени синтеза стечених знања за решавање изабраног реалног проблема. Пројекти могу да се реализују и кроз сарадњу с привредним субјектима, у смислу могућности избора теме, тј. конкретног проблема који ће бити решаван.
Предавања, рачунарске вежбе у одговарајућем софтверу (Python, PyTorch/TensorFlow/Keras) у циљу имплементације усвојених теоријских основа, домаћи задаци као једноставнији проблеми за самостално решавање уз имплементацију, консултације са предавачима, активно учење кроз пројекат, истраживање и анализу новијих научних публикација. Гостујућа предавања стручњака из привреде.
АуториНазивГодинаИздавачЈезик
I. Goodfellow, Y. Bengio, A. CourvilleDeep Learning2017MIT Press, CambridgeЕнглески
A. Zhang, Z. Lipton, M. Li, A. SmolaDive into Deep Learning2020(online)Енглески
K. MurphyMachine Learning: A Probabilistic Perspective2012MIT PressЕнглески
Предметна активностПредиспитнаОбавезнаБрој поена
Предметни пројекатдада40.00
Тестдада10.00
Домаћи задатакдада5.00
Домаћи задатакдада5.00
Домаћи задатакдада5.00
Домаћи задатакдада5.00
Писмени део испита - комбиновани задаци и теоријанеда30.00
Име и презимеВид наставе
Недостаје слика

Јаковљевић др Никша
Ванредни професор

Предавања
Недостаје слика

Лончар-Турукало др Татјана
Редовни професор

Предавања
Недостаје слика

Поповић др Бранислав
Виши научни сарадник

Предавања
Недостаје слика

Носек Тијана
Асистент са докторатом

Рачунарске вежбе
Недостаје слика

Лазић Иван
Асистент

Рачунарске вежбе
Недостаје слика

Шобот Срђан
Асистент

Рачунарске вежбе