Aller au contenu

Domen Vreš in jezikovni model za slovenščino GaMS

13 octobre 2026 · 55 min

Notes de l’épisode

Frenk Dragar se je pogovarjal z Domnom Vrešem, doktorskim raziskovalcem v Laboratoriju za strojno učenje in jezikovne tehnologije na FRI. Domen v okviru programa PoVeJMo razvija GaMS, slovenski veliki jezikovni model. Šla sta čez celoten recept za gradnjo modela: podatke, računsko moč, faze učenja in evalvacijo.

Razliko do velikih laboratorijev je Domen ponazoril s številkami. Llama 3 je bila učena na 15 bilijonih tokenov, slovenski projekt pa je leta 2023 začel z manj kot 10 milijardami. Zato so vzeli obstoječi večjezični model in ga dodatno učili za slovenščino. Na lastnih testih se je najbolje odrezala Googlova Gemma. Trenutni GaMS3 ima 12 milijard parametrov, na voljo je tudi 27-milijardna različica.

Učenje poteka v treh fazah: nadaljevano predučenje, nadzorovano učenje navodil in učenje preferenc. Pri prvi sta ozko grlo računska moč in količina podatkov, pri drugi pa kakovost, saj se model vsake napake hitro nauči. Prevedeni podatki so mu dali ameriški naglas, zato je 27-milijardni model šel skozi kulturno prilagoditev, ki jo lahko preizkusite na povejmo.si.

Model učijo z NVIDIA NeMo na 512 GPU-jih evropskega superračunalnika Leonardo v Bologni, potem ko so na mariborski Vegi naleteli na težave. GaMS3 je porabil okoli 150.000 GPU ur, na sodobnejši strojni opremi bi jih zadostovalo 10 do 15 tisoč. Prilagoditev za konkretno nalogo, na primer z LoRA, je reda velikosti sto GPU ur.

Največji izziv ostajajo podatki, saj je slovenščina jezik z malo viri. NUK je prispeval okoli 10 milijard tokenov starih časopisov in knjig, ki so jih na novo prepoznali z OCR, v naslednjo generacijo pa bo prišel še arhiv STA.

Ključni prispevek je odprt model, ki ga podjetja poženejo lokalno in prilagodijo svoji nalogi. To šteje pri občutljivih podatkih, evropski zakonodaji in v zdravstvu. Partnerji Better, Špica, XLAB in Semantika ga preizkušajo v medicini, industriji, avtomatizaciji kode in digitalni humanistiki. Kvantiziran 12-milijardni model teče tudi na močnejši RTX kartici ali Macu.

Za konec sta se dotaknila tehnološke suverenosti in evropskih projektov, od poljskega Bielika do OpenEuroLLM. GaMS je na evropskem benchmarku s 44 jeziki med modeli z okoli 10 milijardami parametrov celo zmagal. Naslednja različica GaMS 3.1 bo znala klicati orodja, v načrtu je tudi sklepanje.

Hvala za družbo!

Tous les épisodes de Ogrodje

Paramètres

Affichage

Langue

Détermine les stations affichées en premier sur la page d’accueil.

Historique

Les stations et épisodes écoutés récemment et tes dernières recherches sont seulement enregistrés dans ce navigateur.

Notifications

Un court message quand un podcast que tu suis publie un nouvel épisode. Désactive un podcast précis avec la cloche sur sa page.

Compte

Enregistrez vos favoris – dans l’app et sur le site.

Raccourcis clavier

/
Ouvrir la recherche
Espace
Lecture ou pause
← →
Dans le lecteur : 15 s en arrière, 30 s en avant (épisodes) · dans une rangée : tuile suivante
↑ ↓
Dans une rangée : cible dans la tuile
Début / Fin
Dans une rangée : première ou dernière tuile
Esc
Fermer la fenêtre ou le menu
?
Cet aperçu
En cours de lecture

Voir la station

À suivre

    Ajoutez des épisodes avec « À suivre » – ils seront lus après l'épisode en cours.