Pular para o conteúdo

KV Cache: el reto de guardar conversaciones de 100GB

13 de junho de 2026 · 1 h 2 min

Notas do episódio

La KV Cache se ha convertido en uno de los grandes retos para escalar los LLMs: guardar el contexto de una conversación no significa almacenar texto, sino enormes tensores por cada token y capa del modelo. A partir de ahí aparece el verdadero problema: una conversación larga puede ocupar decenas o cientos de GB, saturar la VRAM de las GPUs y obligar a diseñar sistemas capaces de paginar, compartir, mover y reutilizar esa caché entre GPU, RAM, SSD y red. La idea central: los LLMs modernos no escalan solo con más cálculo, sino gestionando una memoria gigantesca de la forma más inteligente posible. Participan en la tertulia: Paco Zamora, Josu Gorostegui y Guillermo Barbadillo. Recuerda que puedes enviarnos dudas, comentarios y sugerencias en: https://x.com/TERTUL_ia Más info en: https://ironbar.github.io/tertulia_inteligencia_artificial/

Todos os episódios de La TERTULia de la Inteligencia Artificial

Configurações

Exibição

Idioma

Define quais estações você vê primeiro na página inicial.

Histórico

As rádios e episódios ouvidos recentemente e suas últimas buscas ficam só neste navegador.

Avisos

Um aviso rápido quando um podcast que você segue tem um episódio novo. Desative podcasts individuais pelo sino na página deles.

Conta

Salve favoritos – no app e no site.

Atalhos de teclado

/
Abrir busca
Espaço
Reproduzir ou pausar
← →
No player: voltar 15 s, avançar 30 s (episódios) · na fileira: próximo bloco
↑ ↓
Na fileira: alvo dentro do bloco
Home / End
Na fileira: primeiro ou último bloco
Esc
Fechar janela ou menu
?
Esta visão geral
Tocando agora

Ir para a estação

A seguir

    Adicione episódios com “A seguir” – eles tocam depois do episódio atual.