Saltar al contenido

99,9% nel benchmark, 61 nell'indice: il caso GPT-6 Astra

5 de septiembre de 2026 · 1 h 13 min

Notas del episodio

GPT-6 Astra fa 99,9% su ARC-AGI-3 ma l'indice di intelligenza gli dà 61: il caso del benchmark maxato, spiegato da chi i benchmark li usa tutti i giorni.

OpenAI ha rilasciato GPT-6 Astra con numeri da record su tutta la linea: incrementi a doppia cifra su ogni benchmark e un 99,9% su ARC-AGI-3 che nessun altro modello sfiora. Ma un benchmark maxato, cioè mostrato al modello in addestramento, vale ancora qualcosa? E perché l'indice di intelligenza di Artificial Analysis gli dà 61, lo stesso punteggio di GLM 5.3 Max?

In puntata Stefano, Paolo e Alessio prendono il rilascio e lo girano al contrario: i costi per intelligent task (Fable 5.1 a 3,69 dollari contro 1,67 di Astra, 8.500 dollari per una test suite completa), i pesi che compongono l'indice, il tasso di allucinazioni che nessuno cita. E tutta la parte che i benchmark non raccontano: Qwen 3.8 Flash Next con l'architettura che arriverà su Qwen 4, l'inferenza locale di Waymo scesa da 250 mila a 50 mila dollari grazie a una TPU di Google, Nvidia che compra Hugging Face per 12,9 miliardi in contanti, GLM che serve 100 mila chip Huawei Ascent e le licenze open weight che non sono più MIT puro.

00:00 GPT-6 Astra e il 99,9% su ARC-AGI
06:18 Overfitting: quando il benchmark è maxato
13:21 Fable 5.1: costi da record e cache
23:10 Il nostro benchmark alla pellicano
25:33 L'indice di Artificial Analysis non torna
33:40 Coding: conta la sensazione d'uso
38:04 Formula 1 o auto per la scuola?
43:18 Qwen 3.8 Flash Next: l'ingegnerizzazione dei modelli
48:34 Waymo in Europa: inferenza locale su TPU
53:46 Nvidia compra Hugging Face, GLM su Huawei
1:00:52 Le licenze open weight cambiano
1:04:07 Hermes in Gen Z, Q&A e OmniRouter

Ascolta l'audio anche su Spotify:
https://open.spotify.com/episode/50oM4N7LLJLU3szU2Sh2x7?utm_source=youtube&utm_medium=description&utm_campaign=ep70_drop

Sito, show notes e trascrizione completa:
https://risorseartificiali.com/?utm_source=youtube&utm_medium=description&utm_campaign=ep70_drop

Iscriviti al canale: AI engineering in italiano, senza hype, ogni sabato.

#70

Todos los episodios de Risorse Artificiali AI Engineering in italiano

Ajustes

Visualización

Idioma

Determina qué emisoras ves primero en la página de inicio.

Historial

Las emisoras y episodios escuchados recientemente y tus últimas búsquedas solo se guardan en este navegador.

Avisos

Un breve aviso cuando un pódcast que sigues tiene un episodio nuevo. Puedes desactivar pódcast concretos con la campana de su página.

Cuenta

Guarda tus favoritos: en la app y en la web.

Atajos de teclado

/
Abrir búsqueda
Espacio
Reproducir o pausar
← →
En el reproductor: 15 s atrás, 30 s adelante (episodios) · en una fila: siguiente tarjeta
↑ ↓
En una fila: destino dentro de la tarjeta
Inicio / Fin
En una fila: primera o última tarjeta
Esc
Cerrar ventana o menú
?
Este resumen
Reproduciendo ahora

Ir a la emisora

A continuación

    Añade episodios con «A continuación»: sonarán después del episodio actual.