作者： 量子位  来源： [量子位](https://mp.weixin.qq.com/s/XynIQh8JjQ87wkMxOPTpAA)

梦晨 发自 凹非寺

量子位 | 公众号 QbitAI

OpenAI一次性拿出20%总算力 ，投入全新研究方向——

超级智能对齐 （Superalignment）。

先说说OpenAI的20%总算力什么概念？

光是微软此前专门给他们打造的一台超级计算机，就有285000块CPU和上万块英伟达A100 GPU 。

外界没人知道OpenAI现在拥有多少H100 GPU ，只知道他们总融资113亿美元 ，还要算上微软额外提供的Azure云算力 。

这番大手笔，仿佛直接在科技圈扔下一个炸弹。

再看这份公告中的微妙用词区别：

不是通用人工智能 （AGI），甚至干脆去掉了人工 二字。

直接越级瞄准如何控制超级智能 ，其定义为比人类聪明得多的AI系统（much smarter than us）。

正文则明晃晃地写着：虽然看起来还很遥远，但我们相信超级智能将在这个十年段 到来。

现在是2023年下半年，总共留给人类的时间还有6年半 。

OpenAI给自己定的时限更短，只有4年。

控制“奥创”需要“贾维斯”

有网友将OpenAI公布的研究方法形容为**“贾维斯vs奥创”** 。

OpenAI明白靠人类自己已无法完成，提出新概念自动对齐研究员 （automated alignment researcher）

也就是先训练一个大致达到人类水平的AI研究员，再投入大量算力快速迭代。

翻译一下：先努力达到技术奇点，然后直接开启大爆炸。

整个计划的基石，就是先打造第一个自动对齐研究员。

为此OpenAI提出一个临时解决方案，分为三项：

• 开发一个可扩展的训练方法

为了在人类难以评估的任务上提供训练信号，需要利用AI来协助评估其他AI系统，称为“可扩展的监督”。

• 验证第一步产生的模型

为了验证系统的一致性，自动搜索有问题的行为和有问题的内部结构。

• 对整个管道流程做压力测试

通过故意训练不对齐的模型来测试整个管道，并确认技术可以检测到最糟糕的错误类型，也就是对抗性测试。

为什么说是临时解决方案？

OpenAI预计随着对问题进一步了解，研究重点将发生实质性变化，很可能增加全新的研究领域。

再翻译一下：只能走一步看一步。

首席科学家带队，成立全新部门

研究顶级的问题需要顶级的团队。

OpenAI联创和首席科学家Ilya Sutskever 将与此前的对齐团队负责人Jan Leike 共同领导新部门。

而成员不光包括OpenAI自己的员工，也包括来自其它公司的研究人员。

Ilya Sutskever是2012年开启深度学习时代的AlexNet作者之一，也是AlphaGo作者之一，此前已将AI对齐作为他的核心研究重点，总引用数超过40万。

Jan Leike则是ChatGPT的前身InstructGPT论文作者之一，并且早在2017年就参与了OpenAI与DeepMind合作的人类反馈强化学习方法。

Jan Leike认为，OpenAI此次投资很可能比全人类此前对AI对齐研究的所有投资加起来还多。

算上这二位，目前新团队已有10位成员。

新一轮招聘也随之开启，分为研究经理 （年薪42万-50万美元），研究科学家 与研究工程师 （年薪24.5万-45万美元），两种级别三个岗位。

谁来监管监管者？

对于OpenAI的大动作，学术界有不同观点。

认同的学者表示：自然智能通过竞争的进化奖励产生，AI通过对齐人类利益的进化奖励产生，并期待未来的效果。

但也有人表示OpenAI从根本上就错误地理解了“对齐”这个概念。

他认为对齐不能是强制控制，而应该是使双方利益一致，类似于“堵不如疏”。

有网友吐槽“真不敢相信，AGI很可能在鸽了很久的《上古卷轴6》游戏之前到来。”

评论区有人指出，到时候你想玩什么游戏让AI去做就好了。

也有网友灵魂发问，谁又来监管监管者呢？

参考链接：
[1]https://openai.com/blog/introducing-superalignment
[2]https://twitter.com/OpenAI/status/1676638358087553024
[3]https://www.reddit.com/r/singularity/comments/14rh1l1/superintelligence_possible_in_the_next_7_years/

— 完 —

「AIGC+垂直领域社群」

招募中！

欢迎关注AIGC的伙伴们加入AIGC+垂直领域社群，一起学习、探索、创新AIGC！

请备注您想加入的垂直领域「教育」或「电商零售」，加入AIGC人才社群请备注「人才」&「姓名-公司-职位」。

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

**科技前沿进展日日相见 ~ **