Zum Inhalt springen

Ep 96: Nebius CTO on Racing the Hyperscalers Before AWS Wakes Up

02.11.2026 · 1 Std. 1 Min.

Shownotes

Nebius CTO Danila Shtan joins Jacob Effron to talk about what it takes to run an AI cloud at the frontier, and why he thinks the hyperscalers haven’t won this market yet.

Today Nebius is a Nasdaq-listed AI cloud with infrastructure deals with Microsoft and Meta.

Danila and Jacob discuss why open-model inference is still far from optimized, why 95% of Nebius customers run modified models instead of vanilla ones, and why prefill/decode disaggregation is more talk than practice. They also cover what’s actually constraining the AI buildout, why chip scarcity has kept AWS and Google from winning AI cloud, whether we’re overbuilding infrastructure, and how Nebius runs a large engineering org with no limits on AI token usage.

 

(0:00) Intro
(1:25) What Differentiates AI Clouds
(6:16) Nebius’ Origin Story
(10:15) Bringing New Nvidia Chips Online
(14:55) What Different Customers Want
(19:58) Latency vs. Cost
(21:53) Disaggregated Prefill & Decode
(24:59) Inference’s Low-Hanging Fruit
(28:31) What Nebius Should Productize
(30:11) The Tavily Acquisition
(31:56) How Data Centers Differ
(34:29) Bottlenecks in the AI Buildout
(37:03) How New Workloads Shape Clusters
(39:17) Why Hyperscalers Didn’t Win This Market
(43:39) The Future of Neoclouds
(45:42) What Gets Absorbed by AI Hyperscalers
(49:43) OpenAI x Baseten
(52:07) Quickfire

 

Jacob is an AI investor at Redpoint Ventures. He's led Redpoint's investments in companies like Abridge, Physical Intelligence & Legora. Follow Jacob on Twitter (@jacobeffron).

On Unsupervised Learning we probe the sharpest minds in AI in search for the truth about what's real today, what will be real in the future and what it all means for businesses and the world. If you're a builder, researcher or investor navigating the AI world, this podcast will help you deconstruct and understand the most important breakthroughs and see a clearer picture of reality. Subscribe to this show to stay up to date on our latest episodes.

Alle Folgen von Unsupervised Learning with Jacob Effron

Einstellungen

Darstellung

Sprache

Bestimmt, welche Sender dir auf der Startseite zuerst gezeigt werden.

Verlauf

Zuletzt gehörte Sender und Folgen und deine letzten Suchen liegen nur in diesem Browser.

Hinweise

Ein kurzer Hinweis, wenn ein Podcast, dem du folgst, eine neue Folge hat. Einzelne Podcasts stellst du über die Glocke auf ihrer Seite ab.

Konto

Favoriten speichern – in der App und auf der Website.

Tastenkürzel

/
Suche öffnen
Leertaste
Abspielen oder anhalten
← →
Im Player: 15 s zurück, 30 s vor (Folgen) · im Regal: nächste Kachel
↑ ↓
Im Regal: Ziel innerhalb der Kachel
Pos1 / Ende
Im Regal: erste bzw. letzte Kachel
Esc
Fenster oder Menü schließen
?
Diese Übersicht
Läuft gerade

Zur Senderseite

Als Nächstes

    Folgen mit „Als Nächstes“ vormerken – sie laufen nach der aktuellen Folge.