KOMPARATIVNA ANALIZA TEKSTUALNIH MODELA BERT, BART I XLNET ZA PREDIKCIJU POPULARNOSTI YOUTUBE SNIMKA

Apstrakt

Ovaj rad se bavi komparativnom analizom tri tekstualna modela BERT, BART i XLNet. Podaci za treniranje i validaciju su preuzeti sa sajta kaggle.com. Postoje dva skupa podataka. Prvi inicijalni i drugi prošireni, koji je nastao zbog pokušaja poboljšanja recall metrike. Nakon preuzimanja urađeno je pretprocesiranje odnosno tokenizacija i stemovanje. Skup je podeljen u razmeri 80:20 za treniranje i validaciju. Isprobane su različite vrednosti za learning rate i batch size, a najbolji rezultat je dobijen korišćenjem BERT large modela kada je learning rate 1e-5, a batch size 8. Druga dva modela dala su nešto lošiji rezultat od BERT-a. Svi eksperimenti i rezultati biće predstavljeni u nastavku.