Aller au contenu

CFM : 60000 CPUs et des milliers de jobs sur AWS Batch

1 mai 2026 · 41 min

Notes de l’épisode

Capital Fund Management (CFM) est un gestionnaire de fonds quantitatif qui emploie 110 PhD dans ses équipes de recherche et où 75% des effectifs écrivent du code. Dans cet épisode enregistré au AWS Summit Paris, Julien Lafaye (directeur) et Otmane El Ansary (associé) nous expliquent comment ils ont migré leur plateforme de calcul CFM Graph depuis leur infrastructure on-prem vers AWS. CFM Graph permet aux chercheurs de définir des graphes d'exécution où chaque noeud est une fonction Python. L'architecture repose sur API Gateway, Lambda et DynamoDB pour le control plane, avec AWS Batch pour l'exécution des calculs. La plateforme scale jusqu'à 100 000 vCPU et traiter des graphes générant jusqu'à 80 TB de données en output. L'équipe utilise massivement les instances Spot (80-90% des calculs de recherche) pour optimiser les coûts. On découvre les défis rencontrés : gestion des quotas Lambda et DynamoDB, rate limiting S3 sur les requêtes LIST, allocation des coûts par utilisateur sur des instances partagées, et la nécessité de former les chercheurs aux spécificités du cloud. L'épisode aborde aussi leur approche hybride permettant aux graphes de s'exécuter partiellement on-prem et sur AWS pendant la migration.

Avec Julien Lafaye, Directeur, CFM ; Avec Otmane El Ansary, Software Engineer, Associate, CFM

  • Tous les épisodes de Le podcast 🎙️ AWS ☁️ en 🇫🇷

    Paramètres

    Affichage

    Langue

    Détermine les stations affichées en premier sur la page d’accueil.

    Historique

    Les stations et épisodes écoutés récemment et tes dernières recherches sont seulement enregistrés dans ce navigateur.

    Notifications

    Un court message quand un podcast que tu suis publie un nouvel épisode. Désactive un podcast précis avec la cloche sur sa page.

    Compte

    Enregistrez vos favoris – dans l’app et sur le site.

    Raccourcis clavier

    /
    Ouvrir la recherche
    Espace
    Lecture ou pause
    ← →
    Dans le lecteur : 15 s en arrière, 30 s en avant (épisodes) · dans une rangée : tuile suivante
    ↑ ↓
    Dans une rangée : cible dans la tuile
    Début / Fin
    Dans une rangée : première ou dernière tuile
    Esc
    Fermer la fenêtre ou le menu
    ?
    Cet aperçu
    En cours de lecture

    Voir la station

    À suivre

      Ajoutez des épisodes avec « À suivre » – ils seront lus après l'épisode en cours.