Zum Inhalt springen

CFM : 60000 CPUs et des milliers de jobs sur AWS Batch

01.05.2026 · 41 Min.

Shownotes

Capital Fund Management (CFM) est un gestionnaire de fonds quantitatif qui emploie 110 PhD dans ses équipes de recherche et où 75% des effectifs écrivent du code. Dans cet épisode enregistré au AWS Summit Paris, Julien Lafaye (directeur) et Otmane El Ansary (associé) nous expliquent comment ils ont migré leur plateforme de calcul CFM Graph depuis leur infrastructure on-prem vers AWS. CFM Graph permet aux chercheurs de définir des graphes d'exécution où chaque noeud est une fonction Python. L'architecture repose sur API Gateway, Lambda et DynamoDB pour le control plane, avec AWS Batch pour l'exécution des calculs. La plateforme scale jusqu'à 100 000 vCPU et traiter des graphes générant jusqu'à 80 TB de données en output. L'équipe utilise massivement les instances Spot (80-90% des calculs de recherche) pour optimiser les coûts. On découvre les défis rencontrés : gestion des quotas Lambda et DynamoDB, rate limiting S3 sur les requêtes LIST, allocation des coûts par utilisateur sur des instances partagées, et la nécessité de former les chercheurs aux spécificités du cloud. L'épisode aborde aussi leur approche hybride permettant aux graphes de s'exécuter partiellement on-prem et sur AWS pendant la migration.

Avec Julien Lafaye, Directeur, CFM ; Avec Otmane El Ansary, Software Engineer, Associate, CFM

  • Alle Folgen von Le podcast 🎙️ AWS ☁️ en 🇫🇷

    Einstellungen

    Darstellung

    Sprache

    Bestimmt, welche Sender dir auf der Startseite zuerst gezeigt werden.

    Verlauf

    Zuletzt gehörte Sender und Folgen und deine letzten Suchen liegen nur in diesem Browser.

    Hinweise

    Ein kurzer Hinweis, wenn ein Podcast, dem du folgst, eine neue Folge hat. Einzelne Podcasts stellst du über die Glocke auf ihrer Seite ab.

    Konto

    Favoriten speichern – in der App und auf der Website.

    Tastenkürzel

    /
    Suche öffnen
    Leertaste
    Abspielen oder anhalten
    ← →
    Im Player: 15 s zurück, 30 s vor (Folgen) · im Regal: nächste Kachel
    ↑ ↓
    Im Regal: Ziel innerhalb der Kachel
    Pos1 / Ende
    Im Regal: erste bzw. letzte Kachel
    Esc
    Fenster oder Menü schließen
    ?
    Diese Übersicht
    Läuft gerade

    Zur Senderseite

    Als Nächstes

      Folgen mit „Als Nächstes“ vormerken – sie laufen nach der aktuellen Folge.