×
Универзитет у Новом Саду

Предмет: Ембедед системи са континуираним учењем (22.EAI036)

Основне информације:
 
Категорија Научно-стручни
Ужа научна област Теоријска електротехника
ЕСПБ 6

Циљ предмета је да студенте упозна са основама континуираног машинског учења (Lifelong Machine Learning) и сродних видова машинског учења адекватних за примену унутар уграђених електронских система (Embedded Systems). Класично машинско учење, познато као ML 1.0, иако врло успешно, има своја ограничења: а) знање није кумулативно, б) без меморије је (не може се задржати), и ц) због недостатка претходног знања, потребан је велики број примера за обуку/учење. За разлику од ML 1.0, људско учење одликују следеће две карактеристике: а) човек никад не учи у изолацији, и б) учимо ефикасно из неколико примера, уз помоћ претходног знања. Ова парадигма учења се назива ML 2.0, односно LML. Континуирано учење решавања више задатака истовремено или инкрементално, као што то раде људи, уз памћење (акумулацију) научених међукорака и финалних решења претходних задатака, да би се она могла искористити у будућем учењу.

Након успешног завршетка овог курса студенти ће бити способни да: - Разумеју основну структуру и функцију континуираног учења и њему сродних врста учења - Одаберу и развију алгоритме континуираног учења и њему сродних врста учења - Изврше припрему задатака и њихових тренинг скупова за обучавање пројектоване континуирано учеће неуралне мреже - Одаберу начин на који ће бити извршено обучавање континуално учеће неуралне мреже - Развију симулациони модел одабране континуално-учеће неуралне мреже у MatLab програмском окружењу, или имплементирају одабрани алгоритам континуалног обучавања у једном од софтверских алата за рад са континуално учећим неуралним мрежама (нпр. ELLA Framework, NELL , или слично) - Анализирају резултате добијене у процесу обучавања у неком од софтверских алата, као што су DeepMind Lab, OpenAI Gym или MatLab Neural Networks Toolbox и Statistics and Machine Learning Toolbox

Теоријска настава - Континуално машинско учење: мотивишући примери, кратка историја, дефиниција, типови знања, методе евалуације - Сличности и разлике континуалног машинског учења са сродним парадигмама учења: Transfer Learning, Multi-Task Learning, Incremental Learning, Online Learning, Meta-Learning, Few Shot Learning, One Shot Learning - Надзирано континуално машинско учење - Континуално учење без катастрофалног заборављања - Инкрементално и онлајн континуално учење у отвореном окружењу - Континуално моделовање тема (енг. Lifelong Topic Modeling) - Континуална екстракција информација - Континуално учење са награђивањем (енг. Lifelong Reinforcement Learning) - Multi-task учење - Трансфер учење - Few Shot и One Shot учење - Метаучење - Адаптивна резонантна теорија Практична настава Рачунарске и лабораторијске вежбе које прате овај курс ће бити конципиране на такав начин да кроз практичан рад са постојећим сотверским алатима за симулацију и обучавање неуралних мрежа, илуструју све теоријске концепте који ће бити обрађивани на предавањима. Део практичне наставе је самостални студентски пројекат, у оквирима кога ће сваки студент програмски имплементирати симулациони модел одабраног концепта континуалног учења у софтверу, и/или комплетан модел континуално-учеће неуралне мреже у хардверу (уграђеном електронском систему). Овај пројекат ће по правилу бити реализован кроз сарадњу са компанијама које се баве применом неуралних мрежа у областима обраде слике, видеа, звука, итд.

Предавања се изводе уз PowerPoint презентације. Праћена су рачунарским и лабораторијским вежбама у Лабораторији за дискретне системе и алгоритме на ФТН. Компаније које се баве применом неуралних мрежа, као и развојем уграђених електронских система базираних на неуралним мрежама примаће студенте на праксу, и омогућиће израду самосталних студентских пројеката. Предиспитне обавезе чиниће успешно завршен и одбрањен самостални студентски пројекат - услов за излазак на испит је 25 од 50 бодова. Кроз колоквијум на половини семестра и у првом испитном року након завршетка слушања предмета може се положити први и други део теоријског испита. Теоријски део испита полагаће се у редовним испитним роковима.

Аутори Назив Година Издавач Језик
Zhiyuan Chen, Bing Liu Lifelong Machine Learning, 2nd Ed. 2018 Morgan & Claypool Publishers Енглески
German I. Parisi, Ronald Kemker, Jose L. Part, Christopher Kanan, Stefan Wermter Continual Lifelong Learning with Neural Networks: A Review 2019 arXiv:1802.07569v4 [cs.LG] Енглески
Yu Zhang, Qiang Yang A Survey on Multi-Task Learning 2018 arXiv:1707.08114v2 [cs.LG] Енглески
Q. Yang, Y. Zhang, W. Dai and S.J. Pan Transfer Learning 2020 Cambridge University Press Енглески
Y. Wang, Q. Yao, J. T. Kwok, L. M., Ni Generalizing from a Few Examples: A Survey on Few-Shot Learning 2020 Association for Computing Machinery Енглески
Timothy Hospedales, Antreas Antoniou, Paul Micaelli, Amos Storkey Meta-Learning in Neural Networks: A Survey 2020 arXiv:2004.05439v1 [cs.LG] Енглески
Предметна активност Предиспитна Обавезна Број поена
Предметна активност
Презентација
Предиспитна
Да
Обавезна
Да
Број поена
10.00
Предметна активност
Колоквијум
Предиспитна
Не
Обавезна
Не
Број поена
25.00
Предметна активност
Предметни пројекат
Предиспитна
Да
Обавезна
Да
Број поена
40.00
Предметна активност
Колоквијум
Предиспитна
Не
Обавезна
Не
Број поена
25.00
Предметна активност
Писмени део испита - комбиновани задаци и теорија
Предиспитна
Не
Обавезна
Да
Број поена
50.00

Предавања

Предавања

Предавања

Рачунарске вежбе

Рачунарске вежбе

Рачунарске вежбе

Рачунарске вежбе