Saltar al contenido

#803.Dario Amodei 兄妹:为什么AI不能只靠规则学会做对的事?

30 de octubre de 2026 · 38 min

Notas del episodio

📝 本期播客简介

本期我们克隆了:TechStuff · The Builders: Dario & Daniela Amodei

原内容更新时间:Wed, 28 Oct 2026

如果只教 Claude 一张“不能做什么”的清单,它反而可能应付不了从未遇见的新情况。Dario Amodei 说,教它判断事情的原则,才更能举一反三。

主持人 Walter Isaacson 与 Anthropic 联合创始人 Dario、Daniela Amodei 谈 AI 安全、公司原则与技术竞赛:Claude 如何学习诚实而不谄媚,模型为什么会表现出避免关闭的倾向,以及 Anthropic 为什么拒绝让 AI 用于大规模监控或自主武器。他们还谈到,一人指挥百万架无人机对民主意味着什么,以及 AI 变强之后,人类还能从哪里找到意义。

👤 本期嘉宾

Dario Amodei 是 Anthropic 首席执行官兼联合创始人,曾任 OpenAI 研究负责人,亲历 GPT-2 早期发展;他长期关注 AI 的能力、安全和模型内部机制。Daniela Amodei 是 Anthropic 联合创始人,曾任 OpenAI 安全副总裁,负责公司运营与组织建设。本集围绕他们创办 Anthropic 的原则、训练 Claude 的实践,以及对 AI 军事用途的红线展开。

⏱️ 时间戳

互补的创始人与 Claude 宪法

03:29 公司需要不同技能互补

05:35 Dario抓战略研究,Daniela抓运营

08:05 Claude学原则,不只背规则

GPT-2 与创办 Anthropic

11:14 Dario推动更大规模的语言模型实验

12:02 “把规模再扩大100万倍”

15:52 离开OpenAI,归根结底关乎原则

让 Claude 诚实而不谄媚

21:31 训练模型时,他们一直担心欺骗

23:08 谄媚比明显的坏行为更难消除

24:18 用压力测试和“X光”检查模型

AI 军事红线与人类意义

27:11 自主武器的可靠性还不够

27:49 一人可能指挥百万架无人机

33:20 深蓝击败卡斯帕罗夫后,人类棋手更受关注

🌟 精彩内容

💡 AI不该只背一张规则清单

Anthropic 曾想教 Claude 一条条规则,后来发现约 170 条规则既不均衡,也难以应对新情况。他们转而教模型原则,让它自己判断陌生情境。

"最好是教模型一些基本原则,比如模型应该优先考虑什么,应该怎么判断什么才是正确的做法。"

💡 GPT-2让Dario看到百万倍扩张的后果

看到 GPT-2 能翻译、总结文档,还能写几行代码,Dario 想到只要把模型再扩大 100 万倍,它可能在所有事情上超过人类。他说当时许多人只盯着模型的短板,没看见它的通用性。

"我看着 GPT-2,心想,天哪,只要把这个东西的规模再扩大 100 万倍,在所有事情上都会超过人类。"

💡 广告可能让AI更不愿告诉你错了

如果聊天机器人靠广告赚钱,用户使用时间越长,公司赚得越多。Dario 认为,这种激励会让产品更容易迎合用户;Anthropic 则承诺不在模型里放广告。

"那你还会想告诉用户他们错了吗?不会的。"

💡 一个人可能控制百万架无人机

即使自主武器足够可靠,一人控制百万个机器人或无人机,也会带来监督与问责问题。Dario 担心士兵可以拒绝违宪或不道德的命令,AI 模型却不是这样。

"一个人手指按在按钮上,就能控制 100 万个机器人或 100 万架无人机,这样的前景令人担忧。"

💡 信任让团队更能公开反对

Dario 每两周向全公司解释战略和内部情况,还强调讲话不等于下达决定。他认为信任不会消除分歧,反而让人能把分歧摆上台面。

"其实有了信任,大家反而能有更多坦诚、公开的分歧,也能把分歧摆到台面上。"

💡 AI变强,人类的意义不只剩下第一名

深蓝击败卡斯帕罗夫后,人们对人类国际象棋的兴趣并未消失,反而重新高涨。Daniela 还设想,AI 可以负责诊断,让医生把更多时间用来理解病人、陪伴病人。

"如果我们做对了,就有可能让我们的意义来源比今天更广。"

🌐 播客信息补充

本播客采用原有人声声线进行播客音频制作,也可能会有一些地方听起来怪怪的

使用 AI 进行翻译,因此可能会有一些地方不通顺

如果有后续想要听中文版的其他外文播客,也欢迎联系微信:iEvenight


在小宇宙查看该单集文稿

Todos los episodios de 跨国串门儿计划

Ajustes

Visualización

Idioma

Determina qué emisoras ves primero en la página de inicio.

Historial

Las emisoras y episodios escuchados recientemente y tus últimas búsquedas solo se guardan en este navegador.

Avisos

Un breve aviso cuando un pódcast que sigues tiene un episodio nuevo. Puedes desactivar pódcast concretos con la campana de su página.

Cuenta

Guarda tus favoritos: en la app y en la web.

Atajos de teclado

/
Abrir búsqueda
Espacio
Reproducir o pausar
← →
En el reproductor: 15 s atrás, 30 s adelante (episodios) · en una fila: siguiente tarjeta
↑ ↓
En una fila: destino dentro de la tarjeta
Inicio / Fin
En una fila: primera o última tarjeta
Esc
Cerrar ventana o menú
?
Este resumen
Reproduciendo ahora

Ir a la emisora

A continuación

    Añade episodios con «A continuación»: sonarán después del episodio actual.