Zum Inhalt springen

99,9% nel benchmark, 61 nell'indice: il caso GPT-6 Astra

05.09.2026 · 1 Std. 13 Min.

Shownotes

GPT-6 Astra fa 99,9% su ARC-AGI-3 ma l'indice di intelligenza gli dà 61: il caso del benchmark maxato, spiegato da chi i benchmark li usa tutti i giorni.

OpenAI ha rilasciato GPT-6 Astra con numeri da record su tutta la linea: incrementi a doppia cifra su ogni benchmark e un 99,9% su ARC-AGI-3 che nessun altro modello sfiora. Ma un benchmark maxato, cioè mostrato al modello in addestramento, vale ancora qualcosa? E perché l'indice di intelligenza di Artificial Analysis gli dà 61, lo stesso punteggio di GLM 5.3 Max?

In puntata Stefano, Paolo e Alessio prendono il rilascio e lo girano al contrario: i costi per intelligent task (Fable 5.1 a 3,69 dollari contro 1,67 di Astra, 8.500 dollari per una test suite completa), i pesi che compongono l'indice, il tasso di allucinazioni che nessuno cita. E tutta la parte che i benchmark non raccontano: Qwen 3.8 Flash Next con l'architettura che arriverà su Qwen 4, l'inferenza locale di Waymo scesa da 250 mila a 50 mila dollari grazie a una TPU di Google, Nvidia che compra Hugging Face per 12,9 miliardi in contanti, GLM che serve 100 mila chip Huawei Ascent e le licenze open weight che non sono più MIT puro.

00:00 GPT-6 Astra e il 99,9% su ARC-AGI
06:18 Overfitting: quando il benchmark è maxato
13:21 Fable 5.1: costi da record e cache
23:10 Il nostro benchmark alla pellicano
25:33 L'indice di Artificial Analysis non torna
33:40 Coding: conta la sensazione d'uso
38:04 Formula 1 o auto per la scuola?
43:18 Qwen 3.8 Flash Next: l'ingegnerizzazione dei modelli
48:34 Waymo in Europa: inferenza locale su TPU
53:46 Nvidia compra Hugging Face, GLM su Huawei
1:00:52 Le licenze open weight cambiano
1:04:07 Hermes in Gen Z, Q&A e OmniRouter

Ascolta l'audio anche su Spotify:
https://open.spotify.com/episode/50oM4N7LLJLU3szU2Sh2x7?utm_source=youtube&utm_medium=description&utm_campaign=ep70_drop

Sito, show notes e trascrizione completa:
https://risorseartificiali.com/?utm_source=youtube&utm_medium=description&utm_campaign=ep70_drop

Iscriviti al canale: AI engineering in italiano, senza hype, ogni sabato.

#70

Alle Folgen von Risorse Artificiali AI Engineering in italiano

Einstellungen

Darstellung

Sprache

Bestimmt, welche Sender dir auf der Startseite zuerst gezeigt werden.

Verlauf

Zuletzt gehörte Sender und Folgen und deine letzten Suchen liegen nur in diesem Browser.

Hinweise

Ein kurzer Hinweis, wenn ein Podcast, dem du folgst, eine neue Folge hat. Einzelne Podcasts stellst du über die Glocke auf ihrer Seite ab.

Konto

Favoriten speichern – in der App und auf der Website.

Tastenkürzel

/
Suche öffnen
Leertaste
Abspielen oder anhalten
← →
Im Player: 15 s zurück, 30 s vor (Folgen) · im Regal: nächste Kachel
↑ ↓
Im Regal: Ziel innerhalb der Kachel
Pos1 / Ende
Im Regal: erste bzw. letzte Kachel
Esc
Fenster oder Menü schließen
?
Diese Übersicht
Läuft gerade

Zur Senderseite

Als Nächstes

    Folgen mit „Als Nächstes“ vormerken – sie laufen nach der aktuellen Folge.