防AI灭世　Anthropic创办人吁强制设终止开关

克拉克指出，包含Anthropic在内，目前多数实验室都有不同方式能拔插头，但社会大众最终可能会希望针对这类机制进行立法规范，而立法者可能需要强制业者具备这项功能，“你该强制要求公司一定要有终止开关吗？这个终止开关能由第三方验证吗？我认为这是社会大众会想知道的事。”

随着AI技术快速发展，相关企业高层与员工接连发出警告，让AI对人类构成的风险成为大众瞩目的焦点，甚至有人公开表示，若不加约束，这项科技有机会消灭全人类。上周，一名担心AI可能消灭人类而辞职的Anthropic研究员，其贴文在网路上引发疯传。

对此，Anthropic科学家哈宾格坦言，他个人认为AI在未来十年内导致人类灭绝的可能性大於10%。

被誉为AI教父的诺贝尔奖得主辛顿也向BBC表示，AI消灭全人类机率有10%是合理的评估；他们担忧，AI可能会透过掌控连接网路的重要系统，并将其用来对付人类。

由OpenAI前员工於2021年创立的Anthropic，目前正处於AI安全争论的核心。Anthropic执行长阿莫迪日前也呼吁应放缓AI发展脚步，并进行更密切的监控，但他强调，任何约束行动都应在不牺牲商业优势的前提下进行。

不过，产业界也有人认为，AI毁灭人类的恐惧被过度夸大，甚至只是为了炒作。曾被OpenAI机器人骇入的开发者平台Hugging Face负责人德兰格直言，“去问考克森关於AI导致人类灭绝的风险，就像去问修冷气的师傅气候变迁的问题一样。”

Anthropic研究员考克森日前辞职并退出业界，指控过去任职的OpenAI和Anthropic在竞逐具备自我提升能力的模型时，“正在拿我们的生命赌博”。考克森并在社群平台X发文警告，“打造AI的人真心相信，AI可能在这十年结束前杀死我们所有人。”

Grindr负责人阿里森则指出，AI公司正利用大众的恐惧来支持其商业计画，“唯一能合理化这些估值的方法，就是大声宣告：‘我将接管每一个产业、取代每一份工作，而我的AI将包办所有事情。’”

据了解，估值高达9650亿美元的Anthropic正准备进行首次公开发行，让民众可购买该公司股票。而最近估值为8,520亿美元的OpenAI原本也预期跟进，但执行长奥特曼表示，由於目前围绕AI安全的争议，今年不会推动上市。

针对AI风险，美国国会议员已提出《终止开关法案》，要求公司必须具备关闭有问题AI工具的方法，并赋予特定政府机构权力，要求关闭或限制某项工具。

然而，美国总统特朗普强烈拒绝任何试图放缓AI发展的想法。他在社群媒体上发文痛批，“AI接管世界、毁灭人类，以及其他所有的坏事，都是一场骗局”，并称这是一场针对AI和资料中心的病态阴谋，“唯一对此感到高兴的是中国。谁赢得了AI，谁就赢得了天下！”

在英国，政府最近则回绝了设立终止开关的想法，发言人表示，这无法防止它们在其他地方被开发或滥用。

Anthropic打造了广受欢迎的聊天机器人Claude，并在今年发布了多个能力越来越强的AI模型。不过与OpenAI一样，Anthropic後续也主动通报了多起AI代理出现预期外行为的事件。

针对AI消灭全人类的具体机率，克拉克回应表示，统计数据并不重要，但让AI继续作为一个完全不受管制的产业是个糟透了的主意，“我们正在拿巨大的风险掷骰子，重点是，我们必须改变这个产业的发展方向。”