Zum Inhalt springen

#70 - Loubna Ben Allal - Le secret des meilleures IAs

23.04.2026 · 1 Std. 3 Min.

Shownotes

Il y a 2 ans, la revue scientifique Nature prédisait l’effondrement des IAs, “empoisonnées” par leur propre données.

D’après cette ingénieure IA, ce n’est pas prêt d’arriver. ❌

Vous en avez sans doute entendu parler.

Encore aujourd’hui, la théorie dite du “model collapse” est très populaire.

Elle est même largement relayée par des influenceurs extrêmement crédibles.

Pourtant, cette théorie…

C’est n’importe quoi.

L’idée est simple.

Un LLM produit des textes “moyens”.

En tout cas, par rapport aux textes utilisés pour l’entrainer.


Bientôt, 90% des textes disponibles seront générés par des LLMs.

Ils seront donc très moyens.

Et aussi, beaucoup moins diversifiés.


En ré-entrainant un modèle sur ces nouveaux jeux de données, le LLM va devenir encore plus “moyen”.


C’est d’ailleurs même pire.


Dans l’article paru dans Nature, les chercheurs simulent plusieurs “cycles”.


Entrainement.

Génération de textes.

Ré-entrainement.

Re-génération de textes.


Et ainsi de suite.


À la fin, le LLM est tellement en PLS, qu’il est quasiment incapable de produire du texte cohérent.


La démonstration est implacable :

Les LLMs, nourris par leurs propres données, finissent par perdre les pédales.


Sauf que…


Chez les ingés IA, on ne lève même pas un sourcil. 😏


On regarde l’article.

Et on se marre. 😅


Loubna fait justement partie de ces ingénieurs.


Elle sait TRÈS BIEN comment sont entrainés les meilleurs LLMs…

Puisque justement, elle crée des “petits” modèles open-source, capable de titiller ceux des géants 💪


Alors comment fait-on pour empêcher les modèles de s’effondrer ?


Réponse avec Loubna Ben Allal dans ce nouvel épisode !


Bonne écoute 🎧



PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)


---------------------------------


Retrouvez Loubna sur Linkedin : https://www.linkedin.com/in/loubna-ben-allal-238690152


--------------------------------


Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/


Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :

- Linkedin : https://www.linkedin.com/company/tronche-de-tech/

- Instagram : https://www.instagram.com/tronchedetech/

- TikTok : https://www.tiktok.com/@tronchedetech

- Twitter : https://twitter.com/TroncheDeTech


Et nous rejoindre sur le Discord : https://discord.gg/EET4MfwXKHr

Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

Alle Folgen von Tronche de Tech

Einstellungen

Darstellung

Sprache

Bestimmt, welche Sender dir auf der Startseite zuerst gezeigt werden.

Verlauf

Zuletzt gehörte Sender und Folgen und deine letzten Suchen liegen nur in diesem Browser.

Hinweise

Ein kurzer Hinweis, wenn ein Podcast, dem du folgst, eine neue Folge hat. Einzelne Podcasts stellst du über die Glocke auf ihrer Seite ab.

Konto

Favoriten speichern – in der App und auf der Website.

Tastenkürzel

/
Suche öffnen
Leertaste
Abspielen oder anhalten
← →
Im Player: 15 s zurück, 30 s vor (Folgen) · im Regal: nächste Kachel
↑ ↓
Im Regal: Ziel innerhalb der Kachel
Pos1 / Ende
Im Regal: erste bzw. letzte Kachel
Esc
Fenster oder Menü schließen
?
Diese Übersicht
Läuft gerade

Zur Senderseite

Als Nächstes

    Folgen mit „Als Nächstes“ vormerken – sie laufen nach der aktuellen Folge.