Saltar al contenido

Domen Vreš in jezikovni model za slovenščino GaMS

13 de octubre de 2026 · 55 min

Notas del episodio

Frenk Dragar se je pogovarjal z Domnom Vrešem, doktorskim raziskovalcem v Laboratoriju za strojno učenje in jezikovne tehnologije na FRI. Domen v okviru programa PoVeJMo razvija GaMS, slovenski veliki jezikovni model. Šla sta čez celoten recept za gradnjo modela: podatke, računsko moč, faze učenja in evalvacijo.

Razliko do velikih laboratorijev je Domen ponazoril s številkami. Llama 3 je bila učena na 15 bilijonih tokenov, slovenski projekt pa je leta 2023 začel z manj kot 10 milijardami. Zato so vzeli obstoječi večjezični model in ga dodatno učili za slovenščino. Na lastnih testih se je najbolje odrezala Googlova Gemma. Trenutni GaMS3 ima 12 milijard parametrov, na voljo je tudi 27-milijardna različica.

Učenje poteka v treh fazah: nadaljevano predučenje, nadzorovano učenje navodil in učenje preferenc. Pri prvi sta ozko grlo računska moč in količina podatkov, pri drugi pa kakovost, saj se model vsake napake hitro nauči. Prevedeni podatki so mu dali ameriški naglas, zato je 27-milijardni model šel skozi kulturno prilagoditev, ki jo lahko preizkusite na povejmo.si.

Model učijo z NVIDIA NeMo na 512 GPU-jih evropskega superračunalnika Leonardo v Bologni, potem ko so na mariborski Vegi naleteli na težave. GaMS3 je porabil okoli 150.000 GPU ur, na sodobnejši strojni opremi bi jih zadostovalo 10 do 15 tisoč. Prilagoditev za konkretno nalogo, na primer z LoRA, je reda velikosti sto GPU ur.

Največji izziv ostajajo podatki, saj je slovenščina jezik z malo viri. NUK je prispeval okoli 10 milijard tokenov starih časopisov in knjig, ki so jih na novo prepoznali z OCR, v naslednjo generacijo pa bo prišel še arhiv STA.

Ključni prispevek je odprt model, ki ga podjetja poženejo lokalno in prilagodijo svoji nalogi. To šteje pri občutljivih podatkih, evropski zakonodaji in v zdravstvu. Partnerji Better, Špica, XLAB in Semantika ga preizkušajo v medicini, industriji, avtomatizaciji kode in digitalni humanistiki. Kvantiziran 12-milijardni model teče tudi na močnejši RTX kartici ali Macu.

Za konec sta se dotaknila tehnološke suverenosti in evropskih projektov, od poljskega Bielika do OpenEuroLLM. GaMS je na evropskem benchmarku s 44 jeziki med modeli z okoli 10 milijardami parametrov celo zmagal. Naslednja različica GaMS 3.1 bo znala klicati orodja, v načrtu je tudi sklepanje.

Hvala za družbo!

Todos los episodios de Ogrodje

Ajustes

Visualización

Idioma

Determina qué emisoras ves primero en la página de inicio.

Historial

Las emisoras y episodios escuchados recientemente y tus últimas búsquedas solo se guardan en este navegador.

Avisos

Un breve aviso cuando un pódcast que sigues tiene un episodio nuevo. Puedes desactivar pódcast concretos con la campana de su página.

Cuenta

Guarda tus favoritos: en la app y en la web.

Atajos de teclado

/
Abrir búsqueda
Espacio
Reproducir o pausar
← →
En el reproductor: 15 s atrás, 30 s adelante (episodios) · en una fila: siguiente tarjeta
↑ ↓
En una fila: destino dentro de la tarjeta
Inicio / Fin
En una fila: primera o última tarjeta
Esc
Cerrar ventana o menú
?
Este resumen
Reproduciendo ahora

Ir a la emisora

A continuación

    Añade episodios con «A continuación»: sonarán después del episodio actual.