Embeded sistemi sa kontinuiranim učenjem | Fakultet Tehničkih Nauka

Predmet: Embeded sistemi sa kontinuiranim učenjem (22.EAI036)

Stepen i vrsta studija	Naziv
Master akademske studije	Veštačka inteligencija i mašinsko učenje (Godina: 1, Semestar: Letnji)

Osnovne informacije:

Kategorija	Naučno-stručni
Uža naučna oblast	Teorijska elektrotehnika
ESPB	6

Cilj predmeta je da studente upozna sa osnovama kontinuiranog mašinskog učenja (Lifelong Machine Learning) i srodnih vidova mašinskog učenja adekvatnih za primenu unutar ugrađenih elektronskih sistema (Embedded Systems). Klasično mašinsko učenje, poznato kao ML 1.0, iako vrlo uspešno, ima svoja ograničenja: a) znanje nije kumulativno, b) bez memorije je (ne može se zadržati), i c) zbog nedostatka prethodnog znanja, potreban je veliki broj primera za obuku/učenje. Za razliku od ML 1.0, ljudsko učenje odlikuju sledeće dve karakteristike: a) čovek nikad ne uči u izolaciji, i b) učimo efikasno iz nekoliko primera, uz pomoć prethodnog znanja. Ova paradigma učenja se naziva ML 2.0, odnosno LML. Kontinuirano učenje rešavanja više zadataka istovremeno ili inkrementalno, kao što to rade ljudi, uz pamćenje (akumulaciju) naučenih međukoraka i finalnih rešenja prethodnih zadataka, da bi se ona mogla iskoristiti u budućem učenju.

Nakon uspešnog završetka ovog kursa studenti će biti sposobni da: - Razumeju osnovnu strukturu i funkciju kontinuiranog učenja i njemu srodnih vrsta učenja - Odaberu i razviju algoritme kontinuiranog učenja i njemu srodnih vrsta učenja - Izvrše pripremu zadataka i njihovih trening skupova za obučavanje projektovane kontinuirano učeće neuralne mreže - Odaberu način na koji će biti izvršeno obučavanje kontinualno učeće neuralne mreže - Razviju simulacioni model odabrane kontinualno-učeće neuralne mreže u MatLab programskom okruženju, ili implementiraju odabrani algoritam kontinualnog obučavanja u jednom od softverskih alata za rad sa kontinualno učećim neuralnim mrežama (npr. ELLA Framework, NELL , ili slično) - Analiziraju rezultate dobijene u procesu obučavanja u nekom od softverskih alata, kao što su DeepMind Lab, OpenAI Gym ili MatLab Neural Networks Toolbox i Statistics and Machine Learning Toolbox

Teorijska nastava - Kontinualno mašinsko učenje: motivišući primeri, kratka istorija, definicija, tipovi znanja, metode evaluacije - Sličnosti i razlike kontinualnog mašinskog učenja sa srodnim paradigmama učenja: Transfer Learning, Multi-Task Learning, Incremental Learning, Online Learning, Meta-Learning, Few Shot Learning, One Shot Learning - Nadzirano kontinualno mašinsko učenje - Kontinualno učenje bez katastrofalnog zaboravljanja - Inkrementalno i onlajn kontinualno učenje u otvorenom okruženju - Kontinualno modelovanje tema (eng. Lifelong Topic Modeling) - Kontinualna ekstrakcija informacija - Kontinualno učenje sa nagrađivanjem (eng. Lifelong Reinforcement Learning) - Multi-task učenje - Transfer učenje - Few Shot i One Shot učenje - Metaučenje - Adaptivna rezonantna teorija Praktična nastava Računarske i laboratorijske vežbe koje prate ovaj kurs će biti koncipirane na takav način da kroz praktičan rad sa postojećim sotverskim alatima za simulaciju i obučavanje neuralnih mreža, ilustruju sve teorijske koncepte koji će biti obrađivani na predavanjima. Deo praktične nastave je samostalni studentski projekat, u okvirima koga će svaki student programski implementirati simulacioni model odabranog koncepta kontinualnog učenja u softveru, i/ili kompletan model kontinualno-učeće neuralne mreže u hardveru (ugrađenom elektronskom sistemu). Ovaj projekat će po pravilu biti realizovan kroz saradnju sa kompanijama koje se bave primenom neuralnih mreža u oblastima obrade slike, videa, zvuka, itd.

Predavanja se izvode uz PowerPoint prezentacije. Praćena su računarskim i laboratorijskim vežbama u Laboratoriji za diskretne sisteme i algoritme na FTN. Kompanije koje se bave primenom neuralnih mreža, kao i razvojem ugrađenih elektronskih sistema baziranih na neuralnim mrežama primaće studente na praksu, i omogućiće izradu samostalnih studentskih projekata. Predispitne obaveze činiće uspešno završen i odbranjen samostalni studentski projekat - uslov za izlazak na ispit je 25 od 50 bodova. Kroz kolokvijum na polovini semestra i u prvom ispitnom roku nakon završetka slušanja predmeta može se položiti prvi i drugi deo teorijskog ispita. Teorijski deo ispita polagaće se u redovnim ispitnim rokovima.

Autori	Naziv	Godina	Izdavač	Jezik
Zhiyuan Chen, Bing Liu	Lifelong Machine Learning, 2nd Ed.	2018	Morgan & Claypool Publishers	Engleski
Yu Zhang, Qiang Yang	A Survey on Multi-Task Learning	2018	arXiv:1707.08114v2 [cs.LG]	Engleski
Q. Yang, Y. Zhang, W. Dai and S.J. Pan	Transfer Learning	2020	Cambridge University Press	Engleski
Y. Wang, Q. Yao, J. T. Kwok, L. M., Ni	Generalizing from a Few Examples: A Survey on Few-Shot Learning	2020	Association for Computing Machinery	Engleski
German I. Parisi, Ronald Kemker, Jose L. Part, Christopher Kanan, Stefan Wermter	Continual Lifelong Learning with Neural Networks: A Review	2019	arXiv:1802.07569v4 [cs.LG]	Engleski
Timothy Hospedales, Antreas Antoniou, Paul Micaelli, Amos Storkey	Meta-Learning in Neural Networks: A Survey	2020	arXiv:2004.05439v1 [cs.LG]	Engleski

Predmetna aktivnost	Predispitna	Obavezna	Broj poena
Predmetna aktivnost Prezentacija	Predispitna Da	Obavezna Da	Broj poena 10.00
Predmetna aktivnost Kolokvijum	Predispitna Ne	Obavezna Ne	Broj poena 25.00
Predmetna aktivnost Predmetni projekat	Predispitna Da	Obavezna Da	Broj poena 40.00
Predmetna aktivnost Pismeni deo ispita - kombinovani zadaci i teorija	Predispitna Ne	Obavezna Da	Broj poena 50.00
Predmetna aktivnost Kolokvijum	Predispitna Ne	Obavezna Ne	Broj poena 25.00

Predavanja

Računarske vežbe

ORGANIZACIJA

DOKUMENTA

ZAPOSLENI

KONKURSI

Galerije

AKREDITACIJA

KONTAKT

AKREDITACIJA

KONTAKT

Studentska služba

Predmet: Embeded sistemi sa kontinuiranim učenjem (22.EAI036)

Studijski programi predmeta:

Kontakt: