即将上映的好莱坞科幻电影《AI 创始者》中，一个原本为人类服务的人工智能在洛杉矶引爆了核弹。 

比电影更加科幻的是，现实中，AI 公司们已经开始担忧起这样的场景真的出现在现实世界。 

近日，OpenAI 表示出于对 AI 系统安全性的考虑，公司正在成立专门团队应对前沿 AI 可能面临的「灾难性风险」，其中包括核威胁。

事实上，其 CEO Sam Altman 一直担忧 AI 可能对人类构成「灭绝性」威胁，此前曾在包括美国国会咨询的多个场合下呼吁加强 AI 类的监管。不过，包括 Meta 科学家 Yann LeCun 在内的一批科学家则对 AI 监管持不同观点，后者认为当前 AI 能力仍然有限，过早监管不仅只会让大公司受益，也会扼杀创新。 

这突显了业内对前沿 AI 监管仍存在分歧。监管过早可能会制约技术发展，但缺乏监管又将难以应对风险。如何在技术先行和防范监管间取得平衡，使 AI 既高效发展又安全可控，仍然属于业界难题。 

AI，前沿还是危险

近日，OpenAI 在一份更新中表示，出于对 AI 系统安全性的考虑，公司正在组建新团队「准备就绪（Preparedness）」来跟踪、评估、预测「前沿模型」的发展，以防止所谓的「灾难性风险」，包括网络安全问题以及化学、核和生物威胁。

图片来源：OpenAI 官网 

该团队将由 Aleksander Madry 领导，他任 MIT 可部署机器学习中心主任一职，目前处于休假期间。 

此外，该团队的任务还包括制定和维护「风险知情开发政策」，该政策将详细阐释 OpenAI 构建 AI 模型评估和监控工具的方法、公司的风险缓解行动以及监督整个模型开发流程的治理结构。该政策旨在补充 OpenAI 在 AI 安全领域的工作，并保持部署前后的安全性与一致性。 

OpenAI 提出，管理前沿 AI 模型的可能的灾难性风险需要回答以下几个关键问题： 

前沿 AI 模型被误用的危险性大小？

如何建立健全的监测、评估、预测和防范前沿 AI 模型危险能力的框架？

如果前沿 AI 模型被盗用，恶意行为者可能会如何利用它们？

OpenAI 在更新中写道：「我们相信…将超越目前最先进模型的前沿 AI 模型，有可能造福全人类…但它们也会带来越来越严重的风险。」 

最近一段时间，OpenAI 不断强调 AI 的安全问题，并开展了一系列公司层面、舆论层面、甚至政治层面的行动。

此前在 7 月 7 日，OpenAI 宣布成立一个新团队，旨在探索引导和控制「超级 AI」的方法，团队由 OpenAI 联合创始人兼首席科学家 Ilya Sutskever 和 Alignment 负责人 Jan Leike 共同领导。 

Sutskever 和 Leike 曾预测，超过人类智慧的人工智能将在 10 年内出现，他们称，这种人工智能不一定是善良的，因此有必要研究控制和限制它的方法。 

根据当时的报道，该团队被授予最高优先级，并获得公司 20% 的计算资源支持，他们的目标是在未来四年内解决控制超「超级 AI」的核心技术挑战。 

为了配合此次「准备就绪」团队的启动，Open AI 还举办了一项挑战赛，让外部人士就 AI 可能被如何滥用并在现实世界造成危害的方式提出想法，前 10 名的提交者将获得 2.5 万美元的奖金和一份「准备就绪」的工作。 

关于「AI 可能导致人类灭绝」的担心

OpenAI 的 CEO Sam Altman 一直担心 AI 可能导致人类灭绝。 

在 5 月的一场 AI 主题的美国国会听证会上，Altman 就表示，需要对 AI 进行监管，如果没有针对超级 AI 的严格监管标准，未来 20 年内将会出现更多危险。 

5 月底，Altman 又和谷歌 DeepMind、Anthropic 的 CEO 以及一些知名 AI 研究人员签署了一份简短声明，声称「与流行病和核战争一样，减轻 AI 导致灭绝的风险应该成为全球优先事项之一」。 

6 月的旧金山科技峰会上，Sam Altman 提到在 AI 技术发展上「你不应该信任一家公司，当然也不应该信任一个人」，他认为这项技术本身以及它的好处、它的获取、它的治理，都是属于全人类的。 

不过也有人（以马斯克为代表）指责 Altman「呼吁监管」只是为了保护 OpenAI 领导地位。Sam Altman 当时回应称，「我们认为，应该对那些超过某一高度能力阈值的大型公司和专有模型进行更多监管，而对小型初创公司和开源模型的监管应该较少。我们已经看到试图对科技进行过度监管的国家所面临的问题，这不是我们所期望的。」 

他还表示，「人们训练的模型远远超出了我们今天拥有的任何模型规模，但如果超出了某些能力阈值，我认为应该需要有一个认证过程，同时还应该进行外部审核和安全测试。而且，这样的模型需要向政府报告，应该接受政府的监督。」 

与 Altman 观点相反的是，就在 10 月 19 日，Meta 科学家 Yann LeCun（杨立昆）在接受英媒《金融时报》采访时表达了自己反对过早监管 AI 的立场。 

Yann LeCun 是美国国家科学院、美国国家工程院和法国科学院院士，也因发明卷积网络，以及使用卷积神经网络（CNN）的光学字符识别和计算机视觉方面的工作而闻名。 

2018 年，Yann LeCun 与 Yoshua Bengio 和 Geoffrey Hinton 一起获得了图灵奖（通常被称为「计算界的诺贝尔奖」），上述三位通常被称为「人工智能教父」和「深度学习教父」。 

在访谈中，Yann LeCun 对 AI 监管整体呈现出较为消极的态度，他认为，现在监管 AI 模型就像在 1925 年监管喷气式航空飞机一样（当时这种飞机还没有被发明出来），过早监管 AI 只会加强大型科技公司的主导地位，扼杀竞争。 

「监管 AI 的研发会产生令人难以置信的反效果，」Yann LeCun 表示，监管 AI 的要求源于一些领先科技公司的「傲慢」或者「优越感」，这些公司认为只有他们才能获得信任，安全地开发 AI，「他们希望打着 AI 安全的幌子进行监管。」 

「但事实上，在我们能够设计出一个系统，让它在学习能力方面能够与猫相匹敌之前，关于 AI 可能会带来风险的辩论都为时过早」，Yann LeCun 表示，当前一代 AI 模型的能力还远未达到一些研究人员所宣称的那样强大，「它们根本不了解世界的运作方式，它们既没有计划能力，也没办法进行真正的推理。」 

在他看来，OpenAI 和谷歌 DeepMind 一直「过分乐观」地看待这个问题的复杂性，事实上，距离 AI 达到人类智能水平还需要几个「概念性的突破」。但即便到那时，也可以通过在系统中编码「道德品质」来控制 AI，就像现在可以用制定法律来规范人类行为一样。