Las leyes de escala de Amodei

Las leyes de escala mostraron que los modelos de lenguaje Transformer mejoran de forma predecible al aumentar parámetros, datos y cómputo, siempre que estos escalen juntos. Su importancia histórica fue demostrar que entrenar modelos cada vez más grandes podía producir mejoras continuas, aunque principalmente en dominios de texto parecidos al entrenamiento. Los modelos grandes aprenden más porque sufren menos interferencia entre tareas y pueden retener señales raras o complejas, mientras que los pequeños solo compiten bien si se especializan. Participan en la tertulia: Paco Zamora, Iñigo Olcoz, Josu Gorostegui y Guillermo Barbadillo. Recuerda que puedes enviarnos dudas, comentarios y sugerencias en: https://x.com/TERTUL_ia Más info en: https://ironbar.github.io/tertulia_inteligencia_artificial/