Zum Inhalt springen

Domen Vreš in jezikovni model za slovenščino GaMS

13.10.2026 · 55 Min.

Shownotes

Frenk Dragar se je pogovarjal z Domnom Vrešem, doktorskim raziskovalcem v Laboratoriju za strojno učenje in jezikovne tehnologije na FRI. Domen v okviru programa PoVeJMo razvija GaMS, slovenski veliki jezikovni model. Šla sta čez celoten recept za gradnjo modela: podatke, računsko moč, faze učenja in evalvacijo.

Razliko do velikih laboratorijev je Domen ponazoril s številkami. Llama 3 je bila učena na 15 bilijonih tokenov, slovenski projekt pa je leta 2023 začel z manj kot 10 milijardami. Zato so vzeli obstoječi večjezični model in ga dodatno učili za slovenščino. Na lastnih testih se je najbolje odrezala Googlova Gemma. Trenutni GaMS3 ima 12 milijard parametrov, na voljo je tudi 27-milijardna različica.

Učenje poteka v treh fazah: nadaljevano predučenje, nadzorovano učenje navodil in učenje preferenc. Pri prvi sta ozko grlo računska moč in količina podatkov, pri drugi pa kakovost, saj se model vsake napake hitro nauči. Prevedeni podatki so mu dali ameriški naglas, zato je 27-milijardni model šel skozi kulturno prilagoditev, ki jo lahko preizkusite na povejmo.si.

Model učijo z NVIDIA NeMo na 512 GPU-jih evropskega superračunalnika Leonardo v Bologni, potem ko so na mariborski Vegi naleteli na težave. GaMS3 je porabil okoli 150.000 GPU ur, na sodobnejši strojni opremi bi jih zadostovalo 10 do 15 tisoč. Prilagoditev za konkretno nalogo, na primer z LoRA, je reda velikosti sto GPU ur.

Največji izziv ostajajo podatki, saj je slovenščina jezik z malo viri. NUK je prispeval okoli 10 milijard tokenov starih časopisov in knjig, ki so jih na novo prepoznali z OCR, v naslednjo generacijo pa bo prišel še arhiv STA.

Ključni prispevek je odprt model, ki ga podjetja poženejo lokalno in prilagodijo svoji nalogi. To šteje pri občutljivih podatkih, evropski zakonodaji in v zdravstvu. Partnerji Better, Špica, XLAB in Semantika ga preizkušajo v medicini, industriji, avtomatizaciji kode in digitalni humanistiki. Kvantiziran 12-milijardni model teče tudi na močnejši RTX kartici ali Macu.

Za konec sta se dotaknila tehnološke suverenosti in evropskih projektov, od poljskega Bielika do OpenEuroLLM. GaMS je na evropskem benchmarku s 44 jeziki med modeli z okoli 10 milijardami parametrov celo zmagal. Naslednja različica GaMS 3.1 bo znala klicati orodja, v načrtu je tudi sklepanje.

Hvala za družbo!

Alle Folgen von Ogrodje

Einstellungen

Darstellung

Sprache

Bestimmt, welche Sender dir auf der Startseite zuerst gezeigt werden.

Verlauf

Zuletzt gehörte Sender und Folgen und deine letzten Suchen liegen nur in diesem Browser.

Hinweise

Ein kurzer Hinweis, wenn ein Podcast, dem du folgst, eine neue Folge hat. Einzelne Podcasts stellst du über die Glocke auf ihrer Seite ab.

Konto

Favoriten speichern – in der App und auf der Website.

Tastenkürzel

/
Suche öffnen
Leertaste
Abspielen oder anhalten
← →
Im Player: 15 s zurück, 30 s vor (Folgen) · im Regal: nächste Kachel
↑ ↓
Im Regal: Ziel innerhalb der Kachel
Pos1 / Ende
Im Regal: erste bzw. letzte Kachel
Esc
Fenster oder Menü schließen
?
Diese Übersicht
Läuft gerade

Zur Senderseite

Als Nächstes

    Folgen mit „Als Nächstes“ vormerken – sie laufen nach der aktuellen Folge.