Courses – Fakultet tehničkih nauka u Novom Sadu

Subject: (22.EAI064)

Type of studies	Title
Master Academic Studies	Artificial Intelligence and Machine Learning (Year: 2, Semester: Winter)

General information:

Category	Scientific-professional
Scientific or art field	Electronics
ECTS	6

Cilj predmeta je da studente upozna sa osnovama projektovanja i korišćenja biološki inspirisanih veštačkih neuralnih sistema. Studenti će naučiti kako da odaberu modele neurona, sinapsi i topologiju mreže u zavisnosti od ciljne aplikacije i kako da na optimalan način izaberu hardversku platformu na kojoj će se izvršavati trenirana neuralna mreža. Savremene veštačke neuronske mreže imaju malo sličnosti sa biološkim neuralnim sistemima. Biološki neuralni sistemi odlikuju se drastično boljim performansama, u pogledu potrebnog broja računarskih resursa i potrošnje električne energije, od rešenja baziranih na veštačkim neuronskim mrežama. Stoga postoji potreba za razvojem nove vrste veštačkih neuronskih mreža, koje bliže oponašaju način reprezentacije i obrade informacija koji je prisutan u biološkim neuralnim sistemima. Biološki inspirisani veštački neuralni sistemi predstavljaju budućnost veštačke inteligencije i mašinskog učenja u ugrađenim elektronskim sistemima.

Nakon uspešnog završetka ovog kursa studenti će biti sposobni da: - Razumeju osnovnu strukturu i funkciju osnovnim elemenata bioloških neuralnih sistema - Odaberu ili razviju optimalne modele biološki inspirisanih neurona i sinapsi, u skladu sa zahtevima ciljne aplikacije - Odaberu optimalnu arhitekturu biološki inspirisane neuralne mreže - Izvrše pripremu skupa za obučavanje projektovane neuralne mreže - Odaberu način na koji će biti izvršeno obučavanje neuralne mreže - Razviju simulacioni model odabrane neuralne mreže i implementiraju odabrani algoritam obučavanja u jednom od standarnih softverskih alata za rad sa biološki inspirisanim neuralnim mrežama - Analiziraju rezultate dobijene u procesu obučavanja i izvrše potrebne promene kako bi se povećala tačnost projektovane neuralne mreže - Izaberu odgovarajuću hardversku platformu koja će biti korišćena u ciljnoj aplikaciji, zajedno sa odgovarajućim senzorima, na kojoj će se implementirati obučena neuralna mreža.

Teorijska nastava - Biološki neuralni sistemi: osnovni delovi bioloških neuralnih sistema, struktura bioloških neurona, struktura biološskih sinapsi, organizacija i vrste bioloških neuronskih mreža, osnovni biološki receptori, vizuelni sistem, auditorni sistem, olfaktorni sistem, osnove motoričkog sistema. - Modeli bioloških neurona i sinapsi: kodiranje informacije u biološkim neuronima i neuralnim mrežama, matematički modeli individualnih neurona (Hodgkin–Huxley, FitzHugh-Nagumo, Hindmarsh-Rose, Morris-Lecar, Izhikevich, Integrate-and-Fire), matematički modeli sinapsi (inhibitorne, ekscitatorne). - Arhitekture biološki inspirisanih neuralnih mreža: arhitekture za propagacijom signala unapred, rekurentne arhitekture (Reservoir Computing, Echo State Networks, Liquid State Machines, NeuCube), arhitekture bazirane na lateralnoj inhibiciji, probabilističke neuralne arhitekture, Hierarchical Temporal Memory. - Učenje u biološki inspirisanim neuralnim mrežama: pregled osnovnih tehnika (učenje bazirano na konverziji treniranih veštačkih neuronskih mreža, učenje bazirano na algoritmima treniranja veštačkih neuronskih mreža sa dodatnim ograničenjima, metode bazirane na propagaciji greške unazad, lokalno učenje). - Biološki inspirisani senzori: AER komunikacioni protokol, veštačka retina, veštačka kohlea. - Hardverska implementacije biološki inspirisanih neuralnih mreža: digitalne arhitekture za harversku implementaciju biološki inspirisanih neurona, biološki inspirisanih sinapsi i biološki inspirisanih neuralnih mreža. - Primene biološki inspirisanih veštačkih neuralnih sistema: primena u obradi slike, primena u obradi zvuka, primena u upravljanju i kontroli procesa. Praktična nastava Iako se predmet delom bavi problematikom analize, modelovanja i obučavanja biološki inspirisanih neuralnih mreža, on ima izrazitu aplikativnu dimenziju. Stoga će računarske i laboratorijske vežbe koje prate ovaj kurs biti osmišljene na takav način da kroz praktičan rad sa postojećim sotverskim alatima za simulaciju i obučavanje biološki inspirisanih neuralnih mreža, ali i sa odgovarajućim hardverskim platformama kao i biološki inspirisanim senzorima, ilustruju sve teorijske koncepte koji će biti obrađivani na predavanjima. Neizostavni deo predmeta čini će samostalni studentski projekat, koji će od svakog studenta zahtevati da razvije jedan kompletan ugrađeni elektronski sistem koji će implementirati odabranu biološki inspirisanu neuralnu mrežu i demonstrirati njen uspešan rad u ciljnoj aplikaciji. Ovaj projekat će po pravilu biti realizovan kroz saradnju sa kompanijama koje se bave primenom biološki inspirisanih neuralnidž mreža u oblastima obrade slike, videa, zvuka, itd.

Predavanja se izvode uz PowerPoint prezentacije. Praćena su računarskim i laboratorijskim vežbama u Laboratoriji za diskretne sisteme i algoritme na FTN. Kompanije koje se bave primenom biološki inspirisanih neuralnih mreža kao i razvojem elektronskih sistema baziranih na biološki inspirisanim neuralnim mrežama primaće studente na praksu, i omogućiće izradu samostalnih studentskih projekata. Predispitne obaveze činiće uspešno završen i odbranjen samostalni studentski projekat - uslov za izlazak na ispit je 25 od 50 bodova. Kroz kolokvijum na polovini semestra i u prvom ispitnom roku nakon završetka slušanja predmeta može se položiti prvi i drugi deo teorijskog ispita. Teorijski deo ispita polagaće se u redovnim ispitnim rokovima.

Authors	Title	Year	Publisher	Language
Paul Miller	An Introductory Course in Computational Neuroscience	2018	The MIT Press	English
M. A. Arbib and J. J. Bonaiuto	From Neuron to Cognition via Computational Neuroscience	2016	The MIT Press	English
S. Liu, T. Delbruck, G. Indiveri, A. Whatley, R. Douglas	Event-Based Neuromorphic Systems	2015	Wiley	English