Deep Dive 211 – Transformers.js mit Nico Martin

Wie hat dir die Folge gefallen?
Gut 👍
Schlecht 👎
(Keine Anmeldung erforderlich)

In dieser Folge begrüßen wir einen alten Bekannten in der programmier.bar: Nico Martin, Machine Learning Engineer bei Hugging Face und gern gesehener Podcast-Gast und programmier.con-Speaker.

Während Nico bei seinen letzten Besuchen noch über WordPress und PWAs sprach, tauchen wir heute tief in die Welt von WebML ein. Wir besprechen, wie ihr mit Transformers.js modernste Machine-Learning-Modelle direkt in euren JavaScript-Anwendungen ausführt – egal ob im Browser, in Node.js, Bun oder Deno.

Warum sollte man ML-Modelle überhaupt lokal beim Team oder den Endnutzenden laufen lassen, statt einfach eine API anzufragen? Nico erklärt uns die Vorteile von On-Device AI: von maximaler Privacy über Offline-Verfügbarkeit bis hin zur Vermeidung von Latenzen bei großen Mediendateien. Wir räumen mit dem Vorurteil auf, dass Machine Learning im Web nur aus Chatbots besteht, und schauen uns spannende Use Cases wie Background Removal, Voice Activity Detection oder lokale Audio-Transkription an.

Und natürlich stellt Nico auch die neusten Updates von Transformers.js vor, das gerade in Version 4 erschienen ist und jetzt unter anderem seine eigene Tokenizer Library mitbringt. Er erklärt uns auch, welche Herausforderungen es bei der Gestaltung der APIs gab und wie Transformers.js es schafft, dutzende Use-Cases, unterschiedliche APIs und eine quasi endlose Anzahl an Modellen zu vereinen und erfolgreich zu abstrahieren.

Außerdem sprechen wir über die zugrundeliegende ONNX Architektur und Runtime und beleuchten, was damit alles geht und was nicht. Wir sprechen über Herausforderungen im Caching, der Bandbreite des Clients und strikte RAM-Limitierungen, insbesondere in mobilen Browsern.

Schreibt uns!
Schickt uns eure Themenwünsche und euer Feedback: [email protected]

Folgt uns!
Bleibt auf dem Laufenden über zukünftige Folgen und virtuelle Meetups und beteiligt euch an Community-Diskussionen.

Bluesky
Instagram
LinkedIn
Meetup
YouTube

Musik: Hanimo