Aller au contenu

99,9% nel benchmark, 61 nell'indice: il caso GPT-6 Astra

5 septembre 2026 · 1 h 13 min

Notes de l’épisode

GPT-6 Astra fa 99,9% su ARC-AGI-3 ma l'indice di intelligenza gli dà 61: il caso del benchmark maxato, spiegato da chi i benchmark li usa tutti i giorni.

OpenAI ha rilasciato GPT-6 Astra con numeri da record su tutta la linea: incrementi a doppia cifra su ogni benchmark e un 99,9% su ARC-AGI-3 che nessun altro modello sfiora. Ma un benchmark maxato, cioè mostrato al modello in addestramento, vale ancora qualcosa? E perché l'indice di intelligenza di Artificial Analysis gli dà 61, lo stesso punteggio di GLM 5.3 Max?

In puntata Stefano, Paolo e Alessio prendono il rilascio e lo girano al contrario: i costi per intelligent task (Fable 5.1 a 3,69 dollari contro 1,67 di Astra, 8.500 dollari per una test suite completa), i pesi che compongono l'indice, il tasso di allucinazioni che nessuno cita. E tutta la parte che i benchmark non raccontano: Qwen 3.8 Flash Next con l'architettura che arriverà su Qwen 4, l'inferenza locale di Waymo scesa da 250 mila a 50 mila dollari grazie a una TPU di Google, Nvidia che compra Hugging Face per 12,9 miliardi in contanti, GLM che serve 100 mila chip Huawei Ascent e le licenze open weight che non sono più MIT puro.

00:00 GPT-6 Astra e il 99,9% su ARC-AGI
06:18 Overfitting: quando il benchmark è maxato
13:21 Fable 5.1: costi da record e cache
23:10 Il nostro benchmark alla pellicano
25:33 L'indice di Artificial Analysis non torna
33:40 Coding: conta la sensazione d'uso
38:04 Formula 1 o auto per la scuola?
43:18 Qwen 3.8 Flash Next: l'ingegnerizzazione dei modelli
48:34 Waymo in Europa: inferenza locale su TPU
53:46 Nvidia compra Hugging Face, GLM su Huawei
1:00:52 Le licenze open weight cambiano
1:04:07 Hermes in Gen Z, Q&A e OmniRouter

Ascolta l'audio anche su Spotify:
https://open.spotify.com/episode/50oM4N7LLJLU3szU2Sh2x7?utm_source=youtube&utm_medium=description&utm_campaign=ep70_drop

Sito, show notes e trascrizione completa:
https://risorseartificiali.com/?utm_source=youtube&utm_medium=description&utm_campaign=ep70_drop

Iscriviti al canale: AI engineering in italiano, senza hype, ogni sabato.

#70

Tous les épisodes de Risorse Artificiali AI Engineering in italiano

Paramètres

Affichage

Langue

Détermine les stations affichées en premier sur la page d’accueil.

Historique

Les stations et épisodes écoutés récemment et tes dernières recherches sont seulement enregistrés dans ce navigateur.

Notifications

Un court message quand un podcast que tu suis publie un nouvel épisode. Désactive un podcast précis avec la cloche sur sa page.

Compte

Enregistrez vos favoris – dans l’app et sur le site.

Raccourcis clavier

/
Ouvrir la recherche
Espace
Lecture ou pause
← →
Dans le lecteur : 15 s en arrière, 30 s en avant (épisodes) · dans une rangée : tuile suivante
↑ ↓
Dans une rangée : cible dans la tuile
Début / Fin
Dans une rangée : première ou dernière tuile
Esc
Fermer la fenêtre ou le menu
?
Cet aperçu
En cours de lecture

Voir la station

À suivre

    Ajoutez des épisodes avec « À suivre » – ils seront lus après l'épisode en cours.