Aller au contenu

#379 The Secrets of Deploying AI in Production | Sumti Jairath, Chief Architect at SambaNova

28 septembre 2026 · 48 min

Notes de l’épisode

AI agents are moving from demos into production, but many teams run into the same wall: responses that take too long and cost too much. As models grow bigger and reason through more steps before answering, every chained agent adds delay, and that adds up fast at scale. For data and AI professionals, this raises a practical question: how do you pick a model and an inference platform that keeps a multi-agent workflow fast without blowing the budget? And underneath that choice sits a bigger one — how much of the AI stack, from chips to software, should a company actually control?

Sumti Jairath is Chief Architect at SambaNova Systems, where he's focused on machine learning, big data analytics, and software-defined hardware since 2017. Before that, he spent close to eight years as a Senior Hardware Architect at Oracle working on hardware acceleration for machine learning and data analytics, and earlier held processor and server design roles at Hewlett Packard and Sun Microsystems. He holds a B.Tech in Electronics and Communication Engineering from the National Institute of Technology, Kurukshetra.

In the episode, Richie and Sumti explore why AI agents are slow and expensive, the architecture behind faster inference, choosing the right model and platform for a task, open-source models and sovereign AI, the full AI infrastructure stack, power efficiency, the AI data center debate, career paths in AI infrastructure, and much more.

Links Mentioned in the Show:

• NVIDIA's Groq acquisition, announced around GTC

• Chris Olah, Anthropic

• Anthropic and OpenAI's coding-agent-driven revenue growth

• Ollama

• Apple Mac mini

• SambaNova careers

• Connect with Sumti

• AI-Native Course: Intro to AI for Work

• Related Episode: From City Sewers to Sovereign AI with Russ Wilcox, CEO at ArtifexAI

New to DataCamp? Learn on the go using the DataCamp mobile app

Empower your business with world-class data and AI skills with DataCamp for business

Tous les épisodes de DataFramed

Paramètres

Affichage

Langue

Détermine les stations affichées en premier sur la page d’accueil.

Historique

Les stations et épisodes écoutés récemment et tes dernières recherches sont seulement enregistrés dans ce navigateur.

Notifications

Un court message quand un podcast que tu suis publie un nouvel épisode. Désactive un podcast précis avec la cloche sur sa page.

Compte

Enregistrez vos favoris – dans l’app et sur le site.

Raccourcis clavier

/
Ouvrir la recherche
Espace
Lecture ou pause
← →
Dans le lecteur : 15 s en arrière, 30 s en avant (épisodes) · dans une rangée : tuile suivante
↑ ↓
Dans une rangée : cible dans la tuile
Début / Fin
Dans une rangée : première ou dernière tuile
Esc
Fermer la fenêtre ou le menu
?
Cet aperçu
En cours de lecture

Voir la station

À suivre

    Ajoutez des épisodes avec « À suivre » – ils seront lus après l'épisode en cours.