作者： AIGC开放社区  来源： [AIGC开放社区](https://mp.weixin.qq.com/s/hfcJG0QrhxGeHE4iJje_YQ)

专注AIGC领域的专业社区，关注OpenAI、百度文心一言等大语言模型（LLM）的发展和应用落地，关注LLM的基准评测和市场研究，欢迎关注！

7月6日， OpenAI在官网宣布，将组建一支由Ilya Sutskever（OpenAI联合创始人兼首席科学家）和Jan Leike领导的人工智能对齐团队，用来引导、控制超级智能，同时提升ChatGPT等产品的安全性。

OpenAI表示，4年之内将解决这些难题，并将目前20%的算力用于该项目。

超级智能将是人类发明的最具影响力的技术之一，可以帮助我们解决世界上许多难题。但超级智能的巨大力量也可能非常危险，并导致人类失去控制权，甚至灭绝人类。虽然超级智能还很遥远，但OpenAI认为，10年之内就很有可能实现。

目前，OpenAI还没有一个明确的解决方案来引导或控制超级人工智能。当下可控制的人工智能技术，例如，根据人类反馈进行强化学习，依赖于人类监督的AI能力等。

但人类无法可靠地监督，比我们聪明多的AI系统， 因此，我们目前的对齐技术无法扩展到超级智能，需要新的科学技术突破。

4年内解决超级智能对齐问题

为了控制、引导超级智能对齐问题，OpenAI组建了一支由Ilya Sutskever（OpenAI联合创始人兼首席科学家）和Jan Leike领导的人工智能对齐团队——Superalignment。

超级智能对齐从根本上来说是一个机器学习问题，所以，OpenAI寻求全球优秀的机器学习人才加入这个团队共同实现这一伟大目标。

同时该团队也是对OpenAI现有工作的补充，可提升ChatGPT等产品的安全性 ，包括非法滥用、经济破坏、虚假信息、偏见和歧视、数据隐私和其他可能出现的问题。

OpenAI的方法

建立一个大致达到人类水平的自动对齐系统。然后，可以使用大量算力来扩展工作，并调整超级智能。

1、开发可扩展的训练方法： 为了针对人类难以评估的任务提供训练方法，可以通过人工智能系统来协助评估，其他人工智能系统 （可扩展的监督）。此外，OpenAI希望了解和控制其模型，将监督应用到无法监督的任务（泛化）上。

2、验证生成的模型 ：为了验证系统的一致性，OpenAI将自动搜索有问题的行为 （稳定性）和有问题的内部结构（自动可解释性）。

3、对整个对齐管道进行压力测试 ：可以通过故意训练未对准的模型，来测试整个安全流程，并确认技术检测到最差的未对准类型（对抗性测试）。

OpenAI预计，随着对超级智能对齐了解越来越多，研究重点将会发生重大变化，可能会增加全新的研究领域。未来，会分享更多有关技术研究路线图的信息。

关于AI对齐 ****

AI对齐是指，使人工智能系统的目标和行为，与人类价值观和目标保持一致。这是AI安全和伦理中的一个重要环节。

AI对齐问题涉及到如何设计和实施人工智能系统，以便它们执行的任务或做出的决策能够反映出设计者或用户的意图和价值观。这个问题在高级AI（例如，通用人工智能或超级人工智能）中更为重要。

因为这些AI可能具有极大的自主性和能力，如果它们的目标与人类的目标不一致，可能会带来严重的后果。

解决AI对齐问题需要在伦理、决策理论、机器学习等多个领域进行深入的研究。例如，需要研究如何在没有明确指示的情况下，让AI推断出人类的价值观，以及如何设计可以安全地学习和改进其行为的AI系统。

本文素材来源OpenAI官网，如有侵权请联系删除*

END