Full text · 原文
1,956 字
Jay 发自 凹非寺<br>
量子位 | 公众号 QbitAI<br>
在OpenAI，有一个神秘人专门负责推理用的CUDA内核。<br>
同事们管他叫Bob，人们会把他写的注意力内核亲切地称为Bob内核。<br>
这个内核每天可能在数十万张GPU上被执行万亿次。<br>
要知道，这个环节对精度的要求非常高，如果出bug，需要回滚checkpoint重训，会浪费大量的算力资源。<br>
有网友感叹：<br>
全世界能写出高性能训练用CUDA内核的人，活着的不超过100个。<br>
就是这么一个“地狱级难度”的东西，在OpenAI居然只靠Bob一个人。<br>
Bob内核能力者<br>
OpenAI前员工感叹，Bob轻轻松松在几分钟内修好了自己一周都没搞定的问题。<br>
其他前员工也附议，表示OpenAI对Bob的依赖极高。<br>
公司内部的Slack上专门有一个“Bob magic”表情包，用来来膜拜Bob——无人能不折服于他那“巫师”般的能力。<br>
还有些员工打趣道：如果Bob心血来潮想出去度假一周，那整个公司可就要准备好面临生死存亡的终极阶段了。<br>
既然是这么重磅级的人物，怎么能逃过小扎的法眼呢？<br>
坊间传言，小扎已经知道了这个消息，已经火急火燎地安排上了，Meta明天招聘会议的Top 1事项就是：“Bob到底是谁！”<br>
听说扎总甚至还为此大动肝火（笑死）。<br>
“小扎买买买”换新季居然能错过这么一个大宝贝，不禁怀疑自己每年给亚历山大王开的1400万美金是不是打了水漂。<br>
Bob啊Bob，隐姓埋名这么多年，看来此次还是难逃小扎的魔爪。<br>
像CUDA内核这种基础工程对AI公司来说实在太重要了，因此这类技术人员在硅谷往往被视为核心机密，Bob本人大概率是不会亲口承认的。<br>
但在帖子评论区，反复地在出现一个名字——Scott Gray。<br>
是他，就是他：Scott Gray<br>
Scott Gray毕业于美国伊利诺伊大学香槟分校，修读物理和计算机科学。<br>
Scott是OpenAI相当资深的技术人员，他早在2016年就加入了团队，主要工作是负责GPU内核优化。<br>
至今，Scott一共参与写作了51篇机器学习论文，总引用超过 80000 次。其中不乏像《GPT-4 Technical Report》《Scaling Laws for Neural Language Models》这样的重磅研究。<br>
为什么说Scott的神秘人Bob的第一候选人呢？从Scott的技术背景和社交媒体上或许可以发现一些蛛丝马迹。<br>
2017 年，Scott作为一作发布了《Block-sparse GPU kernels》，这是OpenAI官方博客上的一篇核心论文，由他与Alec Radford和Durk Kingma合著。<br>
这是一种针对块稀疏权重（block-sparse weights）设计的高性能GPU内核。相比传统的cuBLAS或cuSPARSE，这种内核优化了全连接和卷积层，在某些稀疏度设置下可提速数倍。<br>
这与“Bob内核”描述的核心——高效注意力机制和海量GPU推理——高度吻合。<br>
如果这还不够，让我们来看看Scott本人在“口供”里是怎么交代的。<br>
2017年，Scott在Reddit上事无巨细地全盘托出了自己是怎么在OpenAI搭建的CUDA内核，包括FP16/FP32计算优化和针对P100/P102 GPU的适配。<br>
Scott提到：“这些内核是我两个月前完成的，现在悄悄发布了。”<br>
硅谷人才争夺暗流涌动<br>
有人说，AI的未来取决于谁囤得下更多显卡。<br>
但在硅谷，围绕人才的竞争才是如今台前最受关注、热议的焦点。<br>
狙击战发展现在，只要有厉害的大佬出现在聚光灯之下，几乎是露头就秒，以至于各大实验室恨不得把手上的王牌全部挖个洞藏起来。<br>
OpenAI这位GPU蒙面超人面纱被揭，亦是硅谷人才市场暗流涌动的一处具象化。<br>
不知道小扎的超级智能实验室，是否又蓄势待发了呢？<br>
此前，OpenAI的核心研究员几乎被小扎挖个半空，先后已有赵晟佳、Lucas Beyer、Alexander Kolesnikov等人纷纷跳槽加入Meta，可谓是连续给了奥特曼几记重拳。<br>
图片由AI生成<br>
那么奥特曼，这一次，你能够守得住Bob吗？<br>
参考链接：<br>
[1]https://x.com/khoomeik/status/1968136500807340291<br>
[2]https://openai.com/index/block-sparse-gpu-kernels/<br>
[3]https://www.linkedin.com/in/scott-gray-569704/<br>
[4]https://www.reddit.com/r/MachineLearning/comments/5izkux/comment/dbctqo3/?context=3