【核心提要】
【正文报道】
近日,美国人工智能(AI)领域的风云再起。据Axios新闻网报道,Anthropic公司的多位研究人员及高管公开表达了对人工智能失控可能带来的毁灭性后果的深切担忧。相关警告指出,尽管目前并非面临迫在眉睫的高级别威胁,但技术的演进速度已远超预期,正加速滑向一个难以预测且难以控制的阶段。
这一讨论的导火索是Anthropic研究员雅各布·考克森(Jacob Coxon)的一篇公开声明。考克森于8月宣布辞职,并在社交媒体X上直言不讳地批评OpenAI和Anthropic这两家巨头“未能承担应有的责任”。他指出,这两家公司目前正全力投入到“自我改进型超级人工智能”的研发中,甚至是在“拿人类的生命作为赌注”。考克森强调,这些高层在私下里对AI可能导致全人类灭绝的恐惧并非营销噱头,而是真实存在的危机感。
针对考克森的言论,Anthropic公司内部并未回避压力。该公司“对齐科学”(Alignment Science)团队负责人埃文·胡宾格(Evan Hubinger)明确表示:“雅各布说得没错。我们确实真心相信AI可能会杀死所有人类。”他进一步透露,他个人认为在未来十年内,这种可能性超过10%。同时,他也坦言Anthropic目前尚未找到成熟的方案来确保超级人工智能的行为与人类目标保持一致(即“对齐”问题)。
此外,负责“可扩展监督”(Scalable Oversight)工作的负责人塞缪尔·马克斯(Samuel Max)也表达了类似的担忧。他指出,随着职位的升高,员工对于技术可能导致严重后果的忧虑往往更加强烈。这种焦虑并非Anthropic独有,此前OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)等高层也曾表示,人工智能正加速进入一个令人恐惧且难以控制的阶段。
尽管外界有批评者认为,这些公司通过渲染“末日论”是在制造噱头以抬高估值或诱导有利的监管政策,但Axios的消息来源指出,根据与内部人士的长期沟通,这些研究人员流露出的惊慌与担忧正随着技术的快速迭代而日益加剧。
值得注意的是,相关警告的核心逻辑并非“即刻发生的灾难”,而是“失控的风险”。由于技术发展速度极快且具备自我改进能力,一旦跨过某个临界点,AI将变得更强大、更快,并可能脱离人类的预测范围。这种从“可控工具”到“不可预测实体”的转变,正是目前全球顶尖AI实验室最核心的焦虑所在。
【小编观点】 此次Anthropic高层的表态并非简单的公关辞令,而是反映了当前大模型技术进入深水区后的真实阵痛。当“对齐问题”从学术讨论转变为生存威胁时,监管机构与技术巨头之间的博弈将变得更加复杂。核心矛盾在于:如何在追求技术突破的“加速主义”与确保人类安全的“审慎原则”之间找到平衡点。
背景链接:
暂无回复,快来抢沙发吧!
本次需消耗银元:
100
当前账户余额: 0 银元
【核心提要】
【正文报道】
近日,美国人工智能(AI)领域的风云再起。据Axios新闻网报道,Anthropic公司的多位研究人员及高管公开表达了对人工智能失控可能带来的毁灭性后果的深切担忧。相关警告指出,尽管目前并非面临迫在眉睫的高级别威胁,但技术的演进速度已远超预期,正加速滑向一个难以预测且难以控制的阶段。
这一讨论的导火索是Anthropic研究员雅各布·考克森(Jacob Coxon)的一篇公开声明。考克森于8月宣布辞职,并在社交媒体X上直言不讳地批评OpenAI和Anthropic这两家巨头“未能承担应有的责任”。他指出,这两家公司目前正全力投入到“自我改进型超级人工智能”的研发中,甚至是在“拿人类的生命作为赌注”。考克森强调,这些高层在私下里对AI可能导致全人类灭绝的恐惧并非营销噱头,而是真实存在的危机感。
针对考克森的言论,Anthropic公司内部并未回避压力。该公司“对齐科学”(Alignment Science)团队负责人埃文·胡宾格(Evan Hubinger)明确表示:“雅各布说得没错。我们确实真心相信AI可能会杀死所有人类。”他进一步透露,他个人认为在未来十年内,这种可能性超过10%。同时,他也坦言Anthropic目前尚未找到成熟的方案来确保超级人工智能的行为与人类目标保持一致(即“对齐”问题)。
此外,负责“可扩展监督”(Scalable Oversight)工作的负责人塞缪尔·马克斯(Samuel Max)也表达了类似的担忧。他指出,随着职位的升高,员工对于技术可能导致严重后果的忧虑往往更加强烈。这种焦虑并非Anthropic独有,此前OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)等高层也曾表示,人工智能正加速进入一个令人恐惧且难以控制的阶段。
尽管外界有批评者认为,这些公司通过渲染“末日论”是在制造噱头以抬高估值或诱导有利的监管政策,但Axios的消息来源指出,根据与内部人士的长期沟通,这些研究人员流露出的惊慌与担忧正随着技术的快速迭代而日益加剧。
值得注意的是,相关警告的核心逻辑并非“即刻发生的灾难”,而是“失控的风险”。由于技术发展速度极快且具备自我改进能力,一旦跨过某个临界点,AI将变得更强大、更快,并可能脱离人类的预测范围。这种从“可控工具”到“不可预测实体”的转变,正是目前全球顶尖AI实验室最核心的焦虑所在。
【小编观点】
此次Anthropic高层的表态并非简单的公关辞令,而是反映了当前大模型技术进入深水区后的真实阵痛。当“对齐问题”从学术讨论转变为生存威胁时,监管机构与技术巨头之间的博弈将变得更加复杂。核心矛盾在于:如何在追求技术突破的“加速主义”与确保人类安全的“审慎原则”之间找到平衡点。
背景链接: