Skip to content

CFM : 60000 CPUs et des milliers de jobs sur AWS Batch

May 1, 2026 · 41 min

Show notes

Capital Fund Management (CFM) est un gestionnaire de fonds quantitatif qui emploie 110 PhD dans ses équipes de recherche et où 75% des effectifs écrivent du code. Dans cet épisode enregistré au AWS Summit Paris, Julien Lafaye (directeur) et Otmane El Ansary (associé) nous expliquent comment ils ont migré leur plateforme de calcul CFM Graph depuis leur infrastructure on-prem vers AWS. CFM Graph permet aux chercheurs de définir des graphes d'exécution où chaque noeud est une fonction Python. L'architecture repose sur API Gateway, Lambda et DynamoDB pour le control plane, avec AWS Batch pour l'exécution des calculs. La plateforme scale jusqu'à 100 000 vCPU et traiter des graphes générant jusqu'à 80 TB de données en output. L'équipe utilise massivement les instances Spot (80-90% des calculs de recherche) pour optimiser les coûts. On découvre les défis rencontrés : gestion des quotas Lambda et DynamoDB, rate limiting S3 sur les requêtes LIST, allocation des coûts par utilisateur sur des instances partagées, et la nécessité de former les chercheurs aux spécificités du cloud. L'épisode aborde aussi leur approche hybride permettant aux graphes de s'exécuter partiellement on-prem et sur AWS pendant la migration.

Avec Julien Lafaye, Directeur, CFM ; Avec Otmane El Ansary, Software Engineer, Associate, CFM

  • All episodes of Le podcast 🎙️ AWS ☁️ en 🇫🇷

    Settings

    Display

    Language

    Decides which stations you see first on the home page.

    History

    Recently played stations and episodes and your latest searches are only stored in this browser.

    Notifications

    A short notice when a podcast you follow has a new episode. Turn off single podcasts with the bell on their page.

    Account

    Save favorites – in the app and on the website.

    Keyboard shortcuts

    /
    Open search
    Space
    Play or pause
    ← →
    In the player: back 15 s, forward 30 s (episodes) · in a row: next tile
    ↑ ↓
    In a row: target within the tile
    Home / End
    In a row: first or last tile
    Esc
    Close window or menu
    ?
    This overview
    Now playing

    Go to station page

    Play next

      Add episodes with “Play next” – they play after the current episode.