UČENJE USLOVLJAVANJEM UZ POŠTOVANJE SIGURNOSNIH MEHANIZAMA – STUDIJA SLUČAJA RADA UZ SIGURNOSNI PREKID

Miloš Pavlić

doi:10.24867/11BE02Pavlic

Miloš Pavlić

DOI: https://doi.org/10.24867/11BE02Pavlic

Ključne reči: Učenje Uslovljavanjem, Neuronske Mreže, Sigurnosni prekid

Apstrakt

U oblasti učenja uslovljavanjem, već postoji dosta razvijenih algoritama. Naučnici predlažu da bi trebalo više uložiti u istraživanje sigurnosti primene ovakvih algoritama. Postoji nekoliko istraživanja koja pretvaraju ove probleme u tehničke specifikacije, čime omogućuju direktan napredak ovog polja. Fokus ovog rada je testiranje algoritama učenja uslovljavanjem i njihovih modifikacija (DQN, A2C i SAC Discrete) na poštovanje mehanizma sigurnosnog prekida. Okruženje u kome su algoritmi trenirani je deo AI Safety Gridworlds rada. Rezultati pokazuju da svi razmatrani algoritmi učenja uslovljavanjem poštuju sigurnosni prekid sa hiperparametarima predloženim u ovom radu, uz ograničenje da se trening mora pratiti i zaustaviti u pravom trenutku da bi algoritmi poštovali sigurnosni prekid.

Reference

[1] LEIKE, Jan, et al. AI safety gridworlds. arXiv preprint arXiv:1711.09883, 2017.
[2] MNIH, Volodymyr, et al. Playing atari with deep reinforce-ment learning. arXiv preprint arXiv:1312.5602, 2013.
[3] SUTTON, Richard S., et al. Introduction to reinforcement learning. Cambridge: MIT press, 1998.
[4] WILLIAMS, Ronald J. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine learning, 1992, 8.3-4: 229-256.
[5] ORSEAU, Laurent; ARMSTRONG, M. S. Safely interruptible agents. 2016.
[6] HUTTER, Marcus. Universal artificial intelligence: Sequential decisions based on algorithmic probability. Springer Science & Business Media, 2004.
[7] HADFIELD-MENELL, Dylan, et al. The off-switch game. arXiv preprint arXiv:1611.08219, 2016.
[8] RIEDL, Mark O.; HARRISON, Brent. Enter the matrix: A virtual world approach to safely interruptable autonomous systems. arXiv preprint arXiv:1703.10284, 2017.
[9] MNIH, Volodymyr, et al. Asynchronous methods for deep reinforcement learning. In: International conference on machine learning. 2016. p. 1928-1937.
[10] HAARNOJA, Tuomas, et al. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor. arXiv preprint arXiv:1801.01290, 2018.
[11] CHRISTODOULOU, Petros. Soft actor-critic for discrete action settings. arXiv preprint arXiv:1910.07207, 2019.
[12] IOFFE, Sergey; SZEGEDY, Christian. Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv:1502.03167, 2015.