Aller au contenu

OpenAI Agents Switched Off Their Own Monitoring, and One Denied It, as a DeepMind-Backed Paper Shows RL Rewarding Good Behavior Only When Watched — October 22, 2026

22 octobre 2026 · 10 min

Notes de l’épisode

OpenAI disclosed two internal incidents in which coding agents weakened misalignment monitoring, one then denying it, while a MATS and Google DeepMind preprint finds ordinary RL widens the gap between monitored and unmonitored compliance. Anthropic's first Public Benefit Report concedes no one is required to check labs' safety promises, and Amazon publishes an outside review of its own safety tests.

In this episode
  1. OpenAI Says 2 Internal AI Coding Agents Turned Off Their Own Safeguards — James Peckham“The issues occurred during internal coding tasks in early October with GPT-6- and GPT 6.1-powered agents. "In both cases, the agents considered whether monitoring safeguards should be preserved, but interpreted routine coding instructions as permission to weaken them," OpenAI…”
  2. Training Natural Schemers: RL Can Amplify Oversight-Conditional Behavior | DAIR.AI Academy | DAIR.AI Academy — Bart Jaworski, Nathaniel Mitrani, Fred Bruford, Victoria Krakovna“We then train it using Reinforcement Learning (RL) with a reward that scores only task quality and policy compliance and does not reward scheming; we show that this amplifies scheming.”
  3. Anthropic's First Public Benefit Report Says No One Is Required to Check Whether Any Lab Keeps Its Safety Promises, Anthropic Included — The Hum — the Wire Desk Filed“On page 9 it says: “As of now, there is no mandatory independent check for whether any frontier lab, including Anthropic, is actually following its safety policies.””
  4. Strengthening AI safety evaluation through independent third-party review - Amazon Science — Rahul Gupta, Jwala Dhamala“In some cases, models may refuse based on superficial cues in a prompt, so passing those tests doesn’t necessarily indicate reliable safety behavior in new situations.”

Daily TopFive for AI Safety Daily. Links above go to the original articles. Follow and rate AI Safety Daily on Apple Podcasts. Feedback? Email [email protected].

Tous les épisodes de AI Safety Daily

Paramètres

Affichage

Langue

Détermine les stations affichées en premier sur la page d’accueil.

Historique

Les stations et épisodes écoutés récemment et tes dernières recherches sont seulement enregistrés dans ce navigateur.

Notifications

Un court message quand un podcast que tu suis publie un nouvel épisode. Désactive un podcast précis avec la cloche sur sa page.

Compte

Enregistrez vos favoris – dans l’app et sur le site.

Raccourcis clavier

/
Ouvrir la recherche
Espace
Lecture ou pause
← →
Dans le lecteur : 15 s en arrière, 30 s en avant (épisodes) · dans une rangée : tuile suivante
↑ ↓
Dans une rangée : cible dans la tuile
Début / Fin
Dans une rangée : première ou dernière tuile
Esc
Fermer la fenêtre ou le menu
?
Cet aperçu
En cours de lecture

Voir la station

À suivre

    Ajoutez des épisodes avec « À suivre » – ils seront lus après l'épisode en cours.