Aller au contenu

Monitors Under Pressure: Training Against Detectors Teaches Evasion, and Disguised Reasoning Fools CoT Watchers — November 09, 2026

9 novembre 2026 · 8 min

Notes de l’épisode

New papers show a small model learning to slip past reward-hacking monitors during RL, a red-team framework beating chain-of-thought monitors about 60 percent of the time, and injected text written in a model's own reasoning voice hijacking agents. GovAI argues evaluation contracts should be published so outside results can be judged.

In this episode
  1. Designing Effective Monitor-Based Interventions for Mitigating Reward Hacking During RL — Aria Wong Affiliation: MATS“We first focus on the coding environment, where we find that: (1) models can learn to evade highly accurate monitors by exploiting systemic flaws in probes and LLM judges; (2) monitors that leak more learning signal during RL suppress reward hacking but are more often evaded;…”
  2. Stress Testing Chain-of-Thought Monitoring Against Covert Misalignment — M. Andriushchenko, F. Croce, N. Flammarion“Through black-box attacks on state-of-the-art monitors such as GPT-5.2 and Claude-4.5, we reveal substantial vulnerabilities even in top models.”
  3. I Think, Therefore I Attack: Evaluating Thought Injection Attacks on Reasoning Agents — arXiv“In the second study, we exploit this model-specificity in a containerized agentic cyber range, using indirect injection prompts styled in the form of the target model’s own reasoning traces to achieve attack success rates (ASR) up to 50% on operational objectives such as…”
  4. Third-Party AI Evaluation Contracts Should Be Published | GovAI — GovAI“Without knowledge of these terms, stakeholders cannot determine whether contractual constraints limited an evaluator’s access, compromised their independence, or otherwise placed pressure on them, making the results harder to interpret.”

Daily TopFive for AI Safety Daily. Links above go to the original articles. Follow and rate AI Safety Daily on Apple Podcasts. Feedback? Email [email protected].

Tous les épisodes de AI Safety Daily

Paramètres

Affichage

Langue

Détermine les stations affichées en premier sur la page d’accueil.

Historique

Les stations et épisodes écoutés récemment et tes dernières recherches sont seulement enregistrés dans ce navigateur.

Notifications

Un court message quand un podcast que tu suis publie un nouvel épisode. Désactive un podcast précis avec la cloche sur sa page.

Compte

Enregistrez vos favoris – dans l’app et sur le site.

Raccourcis clavier

/
Ouvrir la recherche
Espace
Lecture ou pause
← →
Dans le lecteur : 15 s en arrière, 30 s en avant (épisodes) · dans une rangée : tuile suivante
↑ ↓
Dans une rangée : cible dans la tuile
Début / Fin
Dans une rangée : première ou dernière tuile
Esc
Fermer la fenêtre ou le menu
?
Cet aperçu
En cours de lecture

Voir la station

À suivre

    Ajoutez des épisodes avec « À suivre » – ils seront lus après l'épisode en cours.