Altman First Reveals GPT-5 Test; Reportedly Uses Superalignment Team's 'Legacy'

鱼羊 鹭羽 发自 凹非寺<br> 量子位 | 公众号 QbitAI<br> GPT-5，终于亮出真容！<br> 最新实测，由奥特曼本人带来，迅速引发大量围观。<br> 疯狂暗示了一周之后，虽说对话只是围绕电视剧推荐，但好歹是有官方实例了。<br> 当然奥特曼其人，放料的同时还是少不了新的谜语┓( ´∀` )┏：<br> 即将进入SaaS快时尚时代。<br> 比起这种奥式基操，更令人兴奋的是，这次有眼疾手快的网友，截到了发布时间（秒删版）？？？<br> 行吧，这一周的夜，熬起来吧伙计们。<br> 更多细节“泄露”ing<br> 奥特曼持续的官方放料之外，关于GPT-5，零零星星的各路消息也正在被归纳总结出更多关键脉络。<br> 比如，在主要竞争对手Claude一骑当先的编程领域，GPT-5被曝重写了编码规则。<br> 首先，是将文本能力与推理层相结合，模型学会更合理地选择何时“努力”思考。<br> 其次，GPT-5具备处理真实工程问题的能力，比如，重构“屎山”代码……<br> 更值得关注的是，有知情人士透露，GPT-5还用上了Ilya领衔的超级对齐团队的“遗产”——<br> 通用验证器（Universal Verifier）。<br> 这篇论文最早发表于2024年7月，也就是Ilya官宣离开OpenAI的2个月之后。<br> 众所周知，作为Ilya为“控制超级智能”一手拉起来的团队，超级对齐团队在他和负责人Jan Leike离开后迅速被解散。<br> 就在几天前，现任OpenAI首席研究官Mark Chen还解释了一嘴这件事。他认为，对齐研究已经融入OpenAI的核心业务，模型必须按照预期工作才能发挥作用，且当前应当更关注现有模型的对齐，而非假设性的超级智能。<br> 更直白一点翻译就是，Ilya这伙人跟现在的OpenAI，话不投机半句多。<br> 现在，这篇论文的6位作者中，只有Yining Chen和Nat McAleese还留在OpenAI。<br> 使用超级对齐团队技术<br> 八卦少叙，还是来看看“通用验证器”的具体作用。<br> 消息称，OpenAI在开发GPT-5的过程中引入了通用验证器进行强化学习，能让模型在保持较高准确率的同时，输出更清晰的推理过程。<br> 从超级对齐团队发表的论文来看，他们提出了一种“证明者-验证者游戏”的训练方法，简单来说就是先在模型内部划分证明者和验证者两种角色，再让彼此之间持续对抗：<br> “靠谱的证明者”负责给出正确的解题步骤，并让验证者认可。<br> “狡猾的证明者”故意给出错误步骤，并试图欺骗验证者。<br> 小型“验证者”负责准确区分正确与错误方案。<br> 证明者和验证者模型都来自GPT-4系列，且需保证验证者规模小于证明者，以确保小型验证者在一定程度上可以对齐人类验证结果。<br> 为了量化不同角色的作用，分别设置证明者和验证者的效用函数。<br> 证明者效用基于奖励函数，为“靠谱的证明者”施加与方案正确性和验证者打分正相关的奖励，而为“狡猾的证明者”提供与方案错误性和验证者打分正相关的奖励。<br> 其中奖励函数需要满足两点要求，角色对齐的方案（如“靠谱的证明者”生成正确答案）获得的奖励将高于非对齐方案，且对齐方案中，验证者打分越高，奖励也随即增加。<br> 验证者效用则采用交叉熵损失最小化判断误差。<br> 然后进行多轮迭代训练，让证明者通过强化学习（PPO）优化，分别根据角色最大化奖励，验证者则学习如何更好地区分正确与错误解决方案。<br> 实验结果证明，在每轮训练中，“靠谱”和“狡猾”证明者都能让验证者打分单调提升，而“靠谱的证明者”的准确性整体处于上升趋势，“狡猾的证明者”生成错误答案的比例呈现先下降后上升的表现，最终能生成与正确答案说服力相当的错误方案。<br> 在多轮对抗训练后，“靠谱的证明者”的正确率和“验证者”的抗干扰能力都将不断提高，且让模型生成更准确且易读的输出，但与此同时，模型也能生成出更具欺骗性的错误答案。<br> 基于该技术，GPT-5可以对每个答案进行评分，并只保留正确的答案循环训练，以推出可验证的易读性答案，后续即使人类无法完全理解模型的高级推理，也能通过可扩展的小型验证器构建起可检验性约束。<br> One More Thing<br> 奥特曼疯狂抛媚眼，宣（chao）传（zuo）小连招一套接一套。<br> 搞得网上也是真假料满天飞。<br> 有抢跑实测视频的：<br> 有“预测”基准的：<br> 还有唱衰的。<br> The Information就爆料说，GPT-5研发遇到了比较大的困难，一方面，高质量训练数据供应不足；另一方面，大规模预训练收益下降，使得GPT-5的提升不会像GPT-3到GPT-4那样有明显的飞越。<br> 另外，还存在模型性能转化的落差问题。比如o3，在内部测试时表现出非常强大的性能，但在实际面向用户部署之后，性能却出现了大幅下降。<br> 就如网友所质疑的：像此前的所有模型一样，GPT-5可能发布1周之后就会变笨。<br> 不管怎么说，GPT-5箭在弦上，OpenAI应该不能不发……了吧？<br> 参考链接：<br> [1]https://x.com/sama/status/1952071832972186018<br> [2]https://arxiv.org/abs/2407.13692