
99,9% nel benchmark, 61 nell'indice: il caso GPT-6 Astra
Notas del episodio
GPT-6 Astra fa 99,9% su ARC-AGI-3 ma l'indice di intelligenza gli dà 61: il caso del benchmark maxato, spiegato da chi i benchmark li usa tutti i giorni.
OpenAI ha rilasciato GPT-6 Astra con numeri da record su tutta la linea: incrementi a doppia cifra su ogni benchmark e un 99,9% su ARC-AGI-3 che nessun altro modello sfiora. Ma un benchmark maxato, cioè mostrato al modello in addestramento, vale ancora qualcosa? E perché l'indice di intelligenza di Artificial Analysis gli dà 61, lo stesso punteggio di GLM 5.3 Max?
In puntata Stefano, Paolo e Alessio prendono il rilascio e lo girano al contrario: i costi per intelligent task (Fable 5.1 a 3,69 dollari contro 1,67 di Astra, 8.500 dollari per una test suite completa), i pesi che compongono l'indice, il tasso di allucinazioni che nessuno cita. E tutta la parte che i benchmark non raccontano: Qwen 3.8 Flash Next con l'architettura che arriverà su Qwen 4, l'inferenza locale di Waymo scesa da 250 mila a 50 mila dollari grazie a una TPU di Google, Nvidia che compra Hugging Face per 12,9 miliardi in contanti, GLM che serve 100 mila chip Huawei Ascent e le licenze open weight che non sono più MIT puro.
00:00 GPT-6 Astra e il 99,9% su ARC-AGI
06:18 Overfitting: quando il benchmark è maxato
13:21 Fable 5.1: costi da record e cache
23:10 Il nostro benchmark alla pellicano
25:33 L'indice di Artificial Analysis non torna
33:40 Coding: conta la sensazione d'uso
38:04 Formula 1 o auto per la scuola?
43:18 Qwen 3.8 Flash Next: l'ingegnerizzazione dei modelli
48:34 Waymo in Europa: inferenza locale su TPU
53:46 Nvidia compra Hugging Face, GLM su Huawei
1:00:52 Le licenze open weight cambiano
1:04:07 Hermes in Gen Z, Q&A e OmniRouter
Ascolta l'audio anche su Spotify:
https://open.spotify.com/episode/50oM4N7LLJLU3szU2Sh2x7?utm_source=youtube&utm_medium=description&utm_campaign=ep70_drop
Sito, show notes e trascrizione completa:
https://risorseartificiali.com/?utm_source=youtube&utm_medium=description&utm_campaign=ep70_drop
Iscriviti al canale: AI engineering in italiano, senza hype, ogni sabato.
#70
Todos los episodios de Risorse Artificiali AI Engineering in italiano