Aller au contenu

#8 – Sara Hooker: Big AI, The Compute Frenzy, and Grumpy Models

5 août 2024 · 55 min

Notes de l’épisode

My guest today is ⁠Sara Hooker⁠, VP of Research at Cohere, where she leads Cohere for AI, a non-profit research lab that seeks to solve complex machine learning problems with researchers from over 100 countries. Sara is the author of numerous research papers, some of which focus specifically on scaling theory in AI. She has been listed as one of AI’s top 13 innovators by Fortune.

In our conversation, we first delve into the scaling laws behind foundation models. We explore what powers the scaling of AI systems and the limits to scaling laws. We then move on to discussing openness in AI, Cohere’s business strategy, the power of ecosystems, the importance of building multilingual LLMs, and the recent change in terms of access to data in the space. I hope you enjoy our conversation.

Find me on X at @⁠⁠ProfSchrepel⁠⁠⁠⁠⁠. Also, be sure to subscribe.

**

References:

➝ Sara Hooker, On the Limitations of Compute Thresholds as a Governance Strategy (2024)

➝ Sara Hooker, The Hardware Lottery (2020)

➝ Sara Hooker, Moving beyond “algorithmic bias is a data problem” (2021)➝ Longpre et al., Consent in Crisis: The Rapid Decline of the AI Data Commons (2024)

Tous les épisodes de Scaling Theory

Paramètres

Affichage

Langue

Détermine les stations affichées en premier sur la page d’accueil.

Historique

Les stations et épisodes écoutés récemment et tes dernières recherches sont seulement enregistrés dans ce navigateur.

Notifications

Un court message quand un podcast que tu suis publie un nouvel épisode. Désactive un podcast précis avec la cloche sur sa page.

Compte

Enregistrez vos favoris – dans l’app et sur le site.

Raccourcis clavier

/
Ouvrir la recherche
Espace
Lecture ou pause
← →
Dans le lecteur : 15 s en arrière, 30 s en avant (épisodes) · dans une rangée : tuile suivante
↑ ↓
Dans une rangée : cible dans la tuile
Début / Fin
Dans une rangée : première ou dernière tuile
Esc
Fermer la fenêtre ou le menu
?
Cet aperçu
En cours de lecture

Voir la station

À suivre

    Ajoutez des épisodes avec « À suivre » – ils seront lus après l'épisode en cours.