АЛГОРИТАМ ЗА ТРАНСФОРМЕР ЗА ПРОБЛЕМ ПРЕВОЂЕЊА СА ЕНГЛЕСКОГ НА СРПСКИ ЈЕЗИК
Ključne reči:
Обрада природних jезика, Енкодер-декодер модели
Apstrakt
Тема овог рада jе имплементирање алгоритма за трансформер за проблем превођења са енглеског на српски jезик и формирање претренираног модела коjи се може користити за оваj и остале задатке обраде природних jезика.
Структура коjа jе имплементирана овим радом jе предложена у раду.
Reference
[1] A. Vaswani, N. Shazeer and others, Attention is All You Need, Advances in Neural Information Processing Systems, 2017, pp. 5998-6008. https://papers.nips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper. pdf
[2] Daniel Jurafsky and James H. Martin, Speech and Language Processing, An Introduction to Natural Language Processing, 3rd edition, 2024 https://web.stanford.edu/~jurafsky/slp3/
[3] Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton, Layer Normalization, 2016 https://arxiv.org/abs/1607.06450
[4] https://data.statmt.org/opus-100-corpus/v1.0/supervised/en-sr/
[5] Слика преузета са: https://www.brainlabsdigital.com/blog/what-word2vec-means-forseo/
[2] Daniel Jurafsky and James H. Martin, Speech and Language Processing, An Introduction to Natural Language Processing, 3rd edition, 2024 https://web.stanford.edu/~jurafsky/slp3/
[3] Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton, Layer Normalization, 2016 https://arxiv.org/abs/1607.06450
[4] https://data.statmt.org/opus-100-corpus/v1.0/supervised/en-sr/
[5] Слика преузета са: https://www.brainlabsdigital.com/blog/what-word2vec-means-forseo/
Objavljeno
2025-04-04
Sekcija
Elektrotehničko i računarsko inženjerstvo
