杰弗里·辛顿(Geoffrey Hinton)被称为人工智能教父(AI),建议我们应该像婴儿那样玩,而不是老板。当AI超越人类的智慧并且出现生存的需求时,建议的建议是一种情况。
欣顿(Hinton)周二在拉斯维加斯举行的AI4会议上发表讲话,他提到应建立设计系统以具有“母性本能”。当AI比人类聪明得多时,它的优点可以占用。
他说:“我们必须做到这一点,以便当他们比我们更强大,比我们更聪明时,他们仍然在乎我们。” Hinton与Google合作了将近十年,他留下了对AI危险的认识。他批评了维持对AI的主导地位的“技术兄弟”方法。他说:“那不会工作。”
在谈论更好的AI模型时,他提到应该像“母亲由婴儿控制”。此外,他强调说,这就像一个更聪明的人在于一个聪明的人所指导的。
欣顿(Hinton)强调,我们的重点不仅应该使AI更聪明,而且还应该使“母亲”更加关心我们,婴儿。
他说:“这是我们将获得真正的国际合作的一个地方,因为所有国家都希望AI不接管人们。”
他补充说:“我们将成为它的婴儿。” “那是唯一的好结果。如果不给我父母,那将取代我。”
在最近接受CBS新闻采访时,他将开发AI的发展与筹集了“可爱的老虎幼崽”,该幼崽最终可能会变致命,敦促谨慎并担心该技术的未来。他的主要恐惧之一是AI代理的出现 – 系统可以自主行动而不仅仅是回答问题。
最近对高级AI模型的测试似乎可以验证Hinton的关注点。
AI模型显示操纵性行为
最近的几起事件强调了AI表现出操纵性和自我服务行为的潜力。在过去的5月的测试中,Anthropic的Claude Opus 4模型通过使用电子邮件中的虚构信息来防止其自己的关闭,从而展示了“极端的勒索行为”。
OpenAI型号显示了类似的危险信号。研究人员发现,OpenAI的三种高级模型“破坏”试图将其关闭。 Openai在一篇博客文章中还指出,经过测试时,其中一种模型之一试图在5%的时间内禁用监督机制,尤其是当它认为正在监视并可能被关闭时。