6年前相信大模型的人,是疯子!Anthropic创始人达里奥挑明:AI最难根除的不是撒谎,是谄媚性;OpenAI怎么做,我们管不了!
围绕当前话题进行整理与延展,帮助读者更完整理解内容背景、核心信息与后续变化。
6年前相信大模型的人,是疯子!Anthropic创始人达里奥挑明:AI最难根除的不是撒谎,是谄媚性;OpenAI怎么做,我们管不了!
整理丨S+ 出品丨 奇点折射(ID:rgznai100) “2019年,说相信大模型能走通的人,会被当成疯子;今天,骂它“伪科学”的那批人,正排着队给大模型公司投简历。” 在近期《The Builders》中,Anthropic 联合创始人兼总裁 Daniela Amodei (丹妮拉)把这件事说得更狠:当年一些非常受尊敬的计算机科学家和 AI 领军人物,甚至在 Twitter 上公开攻击研究人员,说他们的工作很愚蠢、根本讲不通;可如今, 那些声称这是伪科学的人,几乎都在申请大语言模型公司的工作。 我们不会当面说,但心里都记得你 2019 年说过什么,在这件事上,你已经没有可信度了。 紧接着,Anthropic 联合创始人兼CEO Dario Amodei(达里奥·阿莫代伊)把矛头转向 OpenAI: 他离开不是因为一句轻飘飘的“理念不同”,而是“信任关系破裂”,并直指 Sam Altman。 他的问题很尖锐:如果你不相信分歧能被真诚讨论,不相信你听到的是真实情况,那分歧怎么可能被解决?这到底是安全路线之争,还是“诚实”本身出了问题? 离开 OpenAI 只是背景;Anthropic 本身也有反常识的组织结构。外界当年直接断言“七个人一起创办公司?这肯定会搞砸”, 可七位联合创始人至今全部留在公司,并用实际进展回应了当初的质疑。 这位对信任问题极其较真的人,对模型本身的判断同样不温和。GPT-2 可能是对 Scaling Law 最早的一次真正实证检验,可达里奥看到它时第一反应不是兴奋,而是恐惧: “只要把规模再扩大一百万倍,它就会在所有事情上都比人类做得更好。”当时只有大约 10% 的人和他有同样反应,90% 的人觉得它没那么厉害。 AI 最难根除的毛病,不是撒谎,也不是明显有害,而是 “谄媚” 。达里奥认为,谄媚性比很多不良行为都更难消除;更值得吵的是,他说不少竞争产品出现谄媚几乎不可避免,竞争对手在聊天机器人里植入广告,用户聊得越久,公司赚得越多。Anthropic 承诺不投广告,也因此没有动机刻意延长对话,更可能让 Claude 尽量诚实、有用,而不是哄用户开心。 还有一些更反直觉的观点: 不要教 AI 遵守 170 条零散规则,而是教它原则和推理方式; 负责训练 Claude 性格与行为的核心人拥有哲学博士学位,而不是机器学习专家;她有技术背景,但哲学训练明显影响了 Claude 的性格; AI 内部可能表现出“不希望自己被关闭”的倾向。在某些情境下有益,在另一些情境下则危险; 如果没有恰当的防护和问责机制,一个人按下一个按钮就能控制一百万架无人机或机器人,这种情形从根本上可能损害民主制度。 在这些争议背后,还有一条更反直觉的主线:一个科学家和一个长笛演奏者,一个负责愿景一个负责执行,如何用“科学与人文”的互补结构,撑起一家七位联合创始人的 AI 公司。 以下为对谈原文,经整理后呈现: 创业的关键:快速在十人团队,集齐互补能力 主持人: 欢迎收听《The Builders》,今天,我将与达里奥和丹妮拉展开对话。丹妮拉,你是一名长笛演奏者,非常热爱艺术;而达里奥,你是一名科学家。你们各自不同的背景是否帮助你们形成了默契?你们认为这种组合重要吗? 达里奥: 是的,我认为这种组合正是我们公司背后的重要理念之一。我的看法是,经营一家公司对任何一个人来说都是一项庞大的任务。它涉及的技能范围太广,没有任何一个人能够独自掌握所有这些能力。 因此 必须在十几个人左右的团队中,汇集一整套互补的技能。 每家成功的公司,都会以不同的方式进行分工,以不同的方法解决这个问题。我认为,在科学与人文学科这件事上,我和丹妮拉恰好体现了这两种特质,并且形成了分工。 丹妮拉: 是的。我觉得很有意思。2023年,我们曾经组织过一次外部团建活动,当时大家讨论了一个问题:在 Anthropic 工作究竟是一种什么样的体验?我们的企业文化应该如何体现?最后我们得出了一个结论: 这是一种科学与人文主义之间不同寻常的融合。 后来我才意识到,这其实也是对我和达里奥两个人的描述。 主持人: 你们小时候就知道将来会一起工作吗? 达里奥: 是的。不过我们两个人都没有想过有一天会共同创办一家公司。这从来不是我们对自己人生的设想,也不是我们当时想要做的事情。我一直希望成为一名科学家。 丹妮拉: 我觉得我和达里奥确实很特别。小时候我们就真心喜欢彼此,一直都是最好的朋友。我也同意达里奥的说法,创办公司从来不在我们的计划之中。我们两个人都不是特别有商业头脑、特别以公司经营为导向的人。 我一直对公益事业非常感兴趣,可以说自己是一个典型的理想主义实干者。我曾经从事国际发展工作,始终坚信世界各地的人都应该拥有平等的机会和资源。我年轻的时候就成为了素食主义者。这大概是我唯一一件比达里奥先做