Inteligentni embeded sistemi | Faculty of Technical Sciences

Subject: Inteligentni embeded sistemi (22.EAI058)

Type of studies	Title
Master Academic Studies	Artificial Intelligence and Machine Learning (Year: 2, Semester: Winter)

General information:

Category	Scientific-professional
Scientific or art field	Electronics
ECTS	6

Mašinsko učenje se danas dominatno nalazi locirano u oblaku, izvršavajući se na moćnim serverima ili radnim stanicama. Međutim, budućnost veštačke inteligencije jasno je vezana za njeno izmeštanje izvan oblaka i ugradnju unutar uređaja koji se nalaze što bliže izvorima informacija koje je potrebno obraditi (tzv. „Edge AI”). Razlozi za to su višestruki: propusni opseg i kašnjenje sistema, decentralizacija i sigurnost, pouzdanost i raspoloživost, specifični zahtevi obrade, itd. Studenti će se upoznati sa osnovama, trendovima i alatima u razvoju AI/ML algoritama namenjenih korišćenju unutar embeded sistema. Edge AI sistemi zahtevaju razvoj rešenja sa niskom cenom fabrikacije i održavanja, radom u uslovima vrlo ograničenih memorijskih, računarskih i energetskih resursa. Ovo za posledicu ima potpuno drugačiji pristup prilikom razvoja i odabira postojećih AI/ML algoritama za potrebe njivove primene unutar embeded sistema.

Nakon uspešnog završetka ovog kursa studenti će biti sposobni da: - Razumeju specifične zahteve koji se postavljaju pred projektante Edge AI sistema. - Odaberu, modifikuju, ili čak i razviju nove AI/ML algoritame koji će biti implementirani unutar embeded sistema. - Odaberu ili razviju optimalnu hardversku platformu embeded sistema na kojoj će biti implementirani odabrani AI/ML algoritami. - Izvrše integraciju, testiranje i validaciju odabranih AI/ML algoritama unutar embeded sistema. - Analiziraju rezultate dobijene u procesu integracije i izvrše potrebne promene kako bi se ostvarile zahtevane performanse inteligentnog embeded sistema.

Teorijska nastava - Specifičnosti implementacije algoritama veštačke inteligencije i mašinskog učenja na hardverskim platformama sa ograničenim resursima. Pregled najčešćih primena tehnika veštačke inteligencije i mašinskog učenja u embeded sistemima. - Pregled tehnika koje se koriste prilikom razvoja novih ili prilagođenja postojećih algoritama mašinskog učenja za izvršavanje na embeded sistemima. - Tehnike sparsifikacije prediktivnih modela (stabala odluke, SVM, veštačkih neuronskih mreža). - Tehnike kvantizacije prediktivnih modela. - Tehnike kompresije prediktivnih modela. - Efikasne arhitekture konvolucionih neuronskih mreža namenjenih za izvršavanje na embeded sistema ograničenih performansi (MobileNet, SqueezeNet, EfficientNet, NASNet, itd.). - Automatsko generisanje arhitekture neuronskih mreža shodno krajnjim potrebama aplikacije i raspoloživim resursima unutar embeded sistema na kojem će se mreža izvršavati (Neural Architecture Search). - Projektovanje namenskih hardverskih arhitektura za efikasno izvršavanje algoritama veštačke inteligencije i mašinskog učenja. - Projektovanje memorijskog podsistema namenskog embeded sistema za izvršavanje algoritama veštačke inteligencije i mašinskog učenja. Organizacija memorijske hijerarhije, odabir načina sprezanja hardverskog akceleratora sa memorijom, načini za lokalno keširanje podataka. - Projektovanje hardverskog akceleratorskog bloka. Pregled različitih tehnika paralelizacije organizacije toka podataka koje se mogu koristiti. Razvoj arhitektura za izvršavanje sparsifikovanih modela mašinskog učenja. Razvoj arhitektura za dinamičku sparsifikaciju. Praktična nastava Računarske i laboratorijske vežbe koje prate ovaj kurs biće osmišljene na takav način da kroz praktičan rad sa postojećim sotverskim alatima za trening standardnih prediktivnih modela mašinkog i dubokog učenja (Scikit-Learn, Keras/TensorFlow, Tiny ML, itd.), uz eventualni dodatak posebnih paketa za sparsifikaciju, kvantizaciju i kompresiju, ilustruju sve teorijske koncepte koji će biti obrađivani na predavanjima. Neizostavni deo predmeta čini će samostalni studentski projekat, koji će od svakog studenta zahtevati da razvije jedan kompletan ugrađeni elektronski sistem koji će implementirati odabrani, prethodno prilagođeni, prediktivni model mašinskog učenja i demonstrirati njegov uspešan rad u ciljnoj aplikaciji. Ovaj projekat će po pravilu biti realizovan kroz saradnju sa kompanijama koje se bave primenom algoritama mašinskog učenja u oblastima obrade slike, videa, zvuka, itd.

Predavanja se izvode uz PowerPoint prezentacije. Praćena su računarskim i laboratorijskim vežbama u Laboratoriji za diskretne sisteme i algoritme na FTN. Kompanije koje se bave primenom biološki inspirisanih neuralnih mreža kao i razvojem elektronskih sistema baziranih na biološki inspirisanim neuralnim mrežama primaće studente na praksu, i omogućiće izradu samostalnih studentskih projekata. Predispitne obaveze činiće uspešno završen i odbranjen samostalni studentski projekat - uslov za izlazak na ispit je 25 od 50 bodova. Kroz kolokvijum na polovini semestra i u prvom ispitnom roku nakon završetka slušanja predmeta može se položiti prvi i drugi deo teorijskog ispita. Teorijski deo ispita polagaće se u redovnim ispitnim rokovima.

Authors	Title	Year	Publisher	Language
X. Wang, Y. Han, V. C. M. Leung, D. Niyato, X. Yan, X. Chen	Edge AI Convergence of Edge Computing and Artificial Intelligence	2020	Springer	English
V. Sze, Y. Chen, T. Yang, J. S. Emer	Efficient Processing of Deep Neural Networks	2020	Morgan & Claypool	English