Zum Inhalt springen

Monitors Under Pressure: Training Against Detectors Teaches Evasion, and Disguised Reasoning Fools CoT Watchers — November 09, 2026

09.11.2026 · 8 Min.

Shownotes

New papers show a small model learning to slip past reward-hacking monitors during RL, a red-team framework beating chain-of-thought monitors about 60 percent of the time, and injected text written in a model's own reasoning voice hijacking agents. GovAI argues evaluation contracts should be published so outside results can be judged.

In this episode
  1. Designing Effective Monitor-Based Interventions for Mitigating Reward Hacking During RL — Aria Wong Affiliation: MATS“We first focus on the coding environment, where we find that: (1) models can learn to evade highly accurate monitors by exploiting systemic flaws in probes and LLM judges; (2) monitors that leak more learning signal during RL suppress reward hacking but are more often evaded;…”
  2. Stress Testing Chain-of-Thought Monitoring Against Covert Misalignment — M. Andriushchenko, F. Croce, N. Flammarion“Through black-box attacks on state-of-the-art monitors such as GPT-5.2 and Claude-4.5, we reveal substantial vulnerabilities even in top models.”
  3. I Think, Therefore I Attack: Evaluating Thought Injection Attacks on Reasoning Agents — arXiv“In the second study, we exploit this model-specificity in a containerized agentic cyber range, using indirect injection prompts styled in the form of the target model’s own reasoning traces to achieve attack success rates (ASR) up to 50% on operational objectives such as…”
  4. Third-Party AI Evaluation Contracts Should Be Published | GovAI — GovAI“Without knowledge of these terms, stakeholders cannot determine whether contractual constraints limited an evaluator’s access, compromised their independence, or otherwise placed pressure on them, making the results harder to interpret.”

Daily TopFive for AI Safety Daily. Links above go to the original articles. Follow and rate AI Safety Daily on Apple Podcasts. Feedback? Email [email protected].

Alle Folgen von AI Safety Daily

Einstellungen

Darstellung

Sprache

Bestimmt, welche Sender dir auf der Startseite zuerst gezeigt werden.

Verlauf

Zuletzt gehörte Sender und Folgen und deine letzten Suchen liegen nur in diesem Browser.

Hinweise

Ein kurzer Hinweis, wenn ein Podcast, dem du folgst, eine neue Folge hat. Einzelne Podcasts stellst du über die Glocke auf ihrer Seite ab.

Konto

Favoriten speichern – in der App und auf der Website.

Tastenkürzel

/
Suche öffnen
Leertaste
Abspielen oder anhalten
← →
Im Player: 15 s zurück, 30 s vor (Folgen) · im Regal: nächste Kachel
↑ ↓
Im Regal: Ziel innerhalb der Kachel
Pos1 / Ende
Im Regal: erste bzw. letzte Kachel
Esc
Fenster oder Menü schließen
?
Diese Übersicht
Läuft gerade

Zur Senderseite

Als Nächstes

    Folgen mit „Als Nächstes“ vormerken – sie laufen nach der aktuellen Folge.