OpenAI 证实即便是超人工智能也能被人类有效控制

OpenAI 认为超越人类的人工智能将在 10 年内到来，而人类能否监督比自身更聪明的模型一直是个被广泛讨论的话题。OpenAI 的超级对齐团队给出了一个初步实证答案 —— 可以。

今天的情况是强到弱泛化，即人类 (强老师) 指导 GPT-4 (弱学生) 学习。为了研究弱到强泛化的未来，OpenAI 研究了一个简单的类比: 小模型能监督大模型吗？结果证明，GPT-2 监督的 GPT-4 达到了由人类监督的 GPT-3.5 性能。

超级对齐团队测试后发现，许多简单的方法可以大大改进弱到强的泛化能力，比如鼓励强模型更加自信，包括在必要时自信地反对弱监督者的观点。又比如先对齐一个稍微超人的模型，然后用它对齐一个更智能的模型，而不是直接对齐非常超人的模型。