Pular para o conteúdo

CFM : 60000 CPUs et des milliers de jobs sur AWS Batch

1 de maio de 2026 · 41 min

Notas do episódio

Capital Fund Management (CFM) est un gestionnaire de fonds quantitatif qui emploie 110 PhD dans ses équipes de recherche et où 75% des effectifs écrivent du code. Dans cet épisode enregistré au AWS Summit Paris, Julien Lafaye (directeur) et Otmane El Ansary (associé) nous expliquent comment ils ont migré leur plateforme de calcul CFM Graph depuis leur infrastructure on-prem vers AWS. CFM Graph permet aux chercheurs de définir des graphes d'exécution où chaque noeud est une fonction Python. L'architecture repose sur API Gateway, Lambda et DynamoDB pour le control plane, avec AWS Batch pour l'exécution des calculs. La plateforme scale jusqu'à 100 000 vCPU et traiter des graphes générant jusqu'à 80 TB de données en output. L'équipe utilise massivement les instances Spot (80-90% des calculs de recherche) pour optimiser les coûts. On découvre les défis rencontrés : gestion des quotas Lambda et DynamoDB, rate limiting S3 sur les requêtes LIST, allocation des coûts par utilisateur sur des instances partagées, et la nécessité de former les chercheurs aux spécificités du cloud. L'épisode aborde aussi leur approche hybride permettant aux graphes de s'exécuter partiellement on-prem et sur AWS pendant la migration.

Avec Julien Lafaye, Directeur, CFM ; Avec Otmane El Ansary, Software Engineer, Associate, CFM

  • Todos os episódios de Le podcast 🎙️ AWS ☁️ en 🇫🇷

    Configurações

    Exibição

    Idioma

    Define quais estações você vê primeiro na página inicial.

    Histórico

    As rádios e episódios ouvidos recentemente e suas últimas buscas ficam só neste navegador.

    Avisos

    Um aviso rápido quando um podcast que você segue tem um episódio novo. Desative podcasts individuais pelo sino na página deles.

    Conta

    Salve favoritos – no app e no site.

    Atalhos de teclado

    /
    Abrir busca
    Espaço
    Reproduzir ou pausar
    ← →
    No player: voltar 15 s, avançar 30 s (episódios) · na fileira: próximo bloco
    ↑ ↓
    Na fileira: alvo dentro do bloco
    Home / End
    Na fileira: primeiro ou último bloco
    Esc
    Fechar janela ou menu
    ?
    Esta visão geral
    Tocando agora

    Ir para a estação

    A seguir

      Adicione episódios com “A seguir” – eles tocam depois do episódio atual.