为了进一步确保人们对AI的担忧不成为现实，OpenAI开始采取行动。
10月27日，OpenAI在其官网宣布，成立名为“Preparedness”（准备）的AI风险防范小组。
该小组由麻省理工可部署机器学习中心主任Aleksander Madry领导，旨在“跟踪、预测和防范未来人工智能系统的危险”，包括从AI“说服和欺骗”人类的能力（如网络钓鱼攻击），到恶意代码生成能力。
OpenAI在博文中写道，前沿人工智能模型的能力将超过目前最先进的现有模型，有可能造福人类，但也有可能带来越来越严重的风险：
要管理前沿人工智能带来的灾难性风险，就必须回答以下问题：
前沿人工智能系统在现在和将来被滥用时有多危险？
我们如何才能建立一个强大的框架来监测、评估、预测和防范前沿人工智能系统的危险能力？
如果我们的前沿人工智能模型权重被盗，恶意行为者会如何选择利用它们？
我们需要确保我们具有对高能力人工智能系统安全所需的理解和基础设施。
要管理前沿人工智能带来的灾难性风险，就必须回答以下问题：
前沿人工智能系统在现在和将来被滥用时有多危险？
我们如何才能建立一个强大的框架来监测、评估、预测和防范前沿人工智能系统的危险能力？
如果我们的前沿人工智能模型权重被盗，恶意行为者会如何选择利用它们？
我们需要确保我们具有对高能力人工智能系统安全所需的理解和基础设施。
OpenAI表示，在Aleksander Madry的领导下，Preparedness团队将把前沿模型的能力评估、评价和内部红队（即对模型进行渗透测试的攻击方）紧密联系在一起，从OpenAI在不久的将来开发的模型，到真正“具有AGI级能力”的模型。
值得注意的是，OpenAI在博文中还将“化学、生物、放射性和核 (CBRN) 威胁”列为与“自主复制和适应（ARA）”、“个体化说服”和“网络安全”同等的“灾难性风险”。
OpenAI还称，它愿意研究“不那么明显”、更接地气的AI风险领域。为了配合Preparedness的启动，OpenAI正在向社区征集风险研究的想法，前十名将获得2.5万美元奖金和Preparedness的职位。
“AI末日”主义
尽管OpenAI引领了今年的“AI热”，但其创始人Sam Altman却是一位著名的“人工智能末日论”者——他时常担心人工智能“可能会导致人类灭绝”。
今年5月，Altman就出席了美国国会一场名为“AI 监管：人工智能规则（Oversight of AI: Rules for Artificial Intelligence）”的听证会。在听证会上，Altman同意了议员们的观点，即有必要对他的公司以及谷歌和微软等公司正在开发的日益强大的人工智能技术进行监管。
在听证会后，以Altman为领导的OpenAI的高层们又在官方发表了一篇博文，呼吁“像监管原子弹一样监管AI”：
我们可能最终需要类似国际原子能机构（IAEA）的机构来监管超级智能方面的工作；任何超过一定能力（或计算资源等）门槛的努力都需要受到国际机构的监督，该机构可以检查系统、要求进行审计、测试产品是否符合安全标准，对部署程度和安全级别进行限制等等。追踪计算资源和能源的使用情况可以在很大程度上帮助我们实现这一想法。
我们可能最终需要类似国际原子能机构（IAEA）的机构来监管超级智能方面的工作；任何超过一定能力（或计算资源等）门槛的努力都需要受到国际机构的监督，该机构可以检查系统、要求进行审计、测试产品是否符合安全标准，对部署程度和安全级别进行限制等等。追踪计算资源和能源的使用情况可以在很大程度上帮助我们实现这一想法。
由于AI发展的速度前所未见，对于AI的担忧，也开始屡屡被提及。
3月，在马斯克的率领下，数千名硅谷企业家和科学家联合签署了一份名为《暂停大型人工智能研究》的公开信，呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，暂停时间至少为6个月：
最近几个月人工智能实验室掀起AI狂潮，它们疯狂地开展AI竞赛，开发和部署越来越强大的AI。
不幸的是，目前为止，没有任何人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理。
最近几个月人工智能实验室掀起AI狂潮，它们疯狂地开展AI竞赛，开发和部署越来越强大的AI。
不幸的是，目前为止，没有任何人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理。
5月，人工智能安全中心组织的一份声明称，“与流行病和核战争等其他社会规模风险一样，减轻人工智能带来的灭绝风险应该成为全球优先事项。”
该声明由500多名著名学者和行业领袖签署，其中包括图灵奖获得者杰弗里·辛顿（Geoffrey Hinton）和约书亚·本吉奥（Yoshua Bengio），也包括3个最著名AI公司的首席执行官：OpenAI的Sam Altman、DeepMind的德米斯·哈萨比斯（Demis Hassabis）和Anthropic的达里奥·阿莫代（Dario Amodei）。
本周早些时候，辛顿和本吉奥在内的24名人工智能专家再次发表公开文章，呼吁各国政府采取行动管理人工智能带来的风险，并号召科技公将至少三分之一的AI研发预算用于确保安全：
我们呼吁主要科技公司和公共投资者将至少三分之一的人工智能研发预算用于确保安全和合乎道德的使用，这与他们对人工智能能力的投资相当。
我们迫切需要国家机构和国际治理机构来执行标准，以防止鲁莽行为和滥用。为了跟上快速进步并避免僵化的法律，国家机构需要强大的技术专长和迅速采取行动的权力。为了应对国际竞争态势，他们需要有能力促进国际协议和伙伴关系。
最紧迫的审查应该是前沿的人工智能系统：少数最强大的人工智能系统将具有最危险和不可预测的能力。
我们呼吁主要科技公司和公共投资者将至少三分之一的人工智能研发预算用于确保安全和合乎道德的使用，这与他们对人工智能能力的投资相当。
我们迫切需要国家机构和国际治理机构来执行标准，以防止鲁莽行为和滥用。为了跟上快速进步并避免僵化的法律，国家机构需要强大的技术专长和迅速采取行动的权力。为了应对国际竞争态势，他们需要有能力促进国际协议和伙伴关系。
最紧迫的审查应该是前沿的人工智能系统：少数最强大的人工智能系统将具有最危险和不可预测的能力。
文章建议，监管机构应要求模型注册、保护举报人、报告事件以及监控模型开发和超级计算机的使用。为了缩短法规出台的时间，主要人工智能公司应立即做出“如果——那么”承诺：如果在其人工智能系统中发现特定的红线功能，他们将采取具体的安全措施。