Full text · 原文
3,386 字
克雷西 听雨 发自 凹非寺<br>
量子位 | 公众号 QbitAI<br>
DeepSeek，又有核心工程师流入江湖——<br>
郭达雅，V2、V3、R1等一系列模型的核心作者，被曝离职。<br>
这位被导师寄予厚望成为“中山大学雷军”的技术天才，在学术与竞赛领域有着近乎传奇的履历。<br>
他自述在入学博士后的第三天便完成了毕业所需的论文发表要求，展现出惊人的科研效率。<br>
他还多次在腾讯广告算法大赛中蝉联冠军，并在ATEC科技精英赛和微信大数据挑战赛中斩获头筹。被调侃还没毕业就有着百万奖金。<br>
而且新时代的工程师，甚至还出现过综艺里。<br>
在真人秀《燃烧吧！天才程序员》中，他作为仅有的两名SSS级“巨佬”选手，在60小时的极限挑战中展现了顶尖的编码实力……<br>
消息传到外网，也引发了很多网友的关注，有人表示，希望这不会给DeepSeek-V4带来影响。<br>
毕竟，郭达雅从博士毕业后入职DeepSeek开始，就参与了Coder、Math等专项模型，以及从V2、V3到R1的完整研发链条，还都是核心作者。<br>
所以郭达雅，究竟是哪一种天才少年？<br>
DeepSeek多款模型核心作者<br>
郭达雅于2023年博士毕业后加入DeepSeek，专注代码智能和大语言模型推理。<br>
促使他加入DeepSeek的原因很简单：有一位师姐在DeepSeek工作，和他聊起公司追求AGI的愿景，这与他的价值观比较吻合。<br>
当时，我的一位师姐在 DeepSeek工作，她找到了我，跟我聊了DeepSeek的愿景——追求AGI，推动人类社会的加速发展。这跟我的价值观是相合的。<br>
同时，DeepSeek有比较多的资源投入研发，领导层也希望打造一个有创新氛围和自由的公司。我有这样的热情去做这件事，我也想追求这样的工作环境。最终，我选择加入了DeepSeek。<br>
目前，郭达雅的个人主页还没有更新，仍然显示为DeepSeek研究员。<br>
DeepSeek的一系列模型，包括V2、V3和R1，还有Math、Coder、Prover和V2-Prover，郭达雅全都是核心贡献者。<br>
按时间顺序梳理，第一条是2024年1月的代码大模型DeepSeek-Coder。<br>
这个项目推出了从1.3B到33B的一系列开源代码模型，在多项基准上做到了当时的开源代码模型SOTA。<br>
第二项成果关于数学推理，也就是2024年2月的DeepSeek-Math。<br>
它以DeepSeek-Coder-Base-v1.5 7B为基础，针对数学能力进行了继续训练，额外使用了120B数学相关token。<br>
更关键的是，DeepSeek-Math的论文中提出了GRPO这个新型强化学习方法，后来成为了R1推理的关键。<br>
紧接着是形式化证明，2024年5月，DeepSeek发布了DeepSeek-Prover。<br>
这个项目面向Lean 4定理证明，核心方法是大规模合成formal proof数据，并在此基础上微调DeepSeek-Math 7B。<br>
结果，模型在Lean 4 miniF2F上whole-proof generation准确率达到 46.3%（64 samples），累计到52%，高于GPT-4的23.0%；在FIMO基准上证明了148题中的5题，而GPT-4得分为0。<br>
这项成果说明，DeepSeek的模型不只能完成一般数学推理，还延伸到了更硬核的形式化推理方向。<br>
还有我们更熟悉的V2、V3和R1，在这个研发过程中，DeepSeek证明了不依赖人工标注的推理轨迹，仅通过纯强化学习，也能把大模型的推理能力激发出来，并自然涌现出自反思、验证、动态策略调整等行为模式。<br>
DeepSeek-R1的相关论文，后来还登上了Nature封面，该论文披露，R1的训练成本仅约29.4万美元（折合人民币约208万）。<br>
总之，任职期间，郭达雅并不只是参与单点项目，而是参与了贯穿DeepSeek一整段主线的研发过程。<br>
而在这一系列的成功背后，有他从中学时期便已经产生的对计算机、对编程的深厚兴趣。<br>
“希望他成为中山大学的雷军”<br>
郭达雅曾就读于珠海一中，从中学时期便展现出对计算机科学的浓厚兴趣。<br>
在接受珠海一中的访谈时，郭达雅表示，自己选择计算机专业是兴趣使然，并且这种兴趣正是产生于中学期间。<br>
兴趣是我选择计算机专业并取得如今成就的重要因素，而这一兴趣的萌芽正源自珠海一中。<br>
回想高中时光，学校丰富的实践活动和课程不仅拓宽了我的视野，也让我在信息课上第一次接触到计算机编程。<br>
最初的我对编程一无所知，但很快便被其严谨的逻辑性和无限的创造力深深吸引。<br>
通过编写简单的代码，我不仅感受到算法的精妙，还体会到数学在实际应用中的强大作用。<br>
这段经历让我对计算机科学产生了浓厚兴趣，也让我在高考结束后毫不犹豫地选择了计算机专业。<br>
2014年，郭达雅被中山大学计算机学院录取，随后留在中大继续直博深造。<br>
大四时，他入选中山大学与微软亚洲研究院联合培养博士生项目，师从印鉴教授和周明博士，研究方向是自然语言处理。周明则后来在大模型浪潮中，创办了澜舟科技。<br>
京东探索研究院副院长、阶跃星辰Tech Fellow段楠的博士生导师也是周明，两人算是师出同门。<br>
而郭达雅在中山大学对他进行的采访中表示，自己在刚入学的第三天，就完成了中大博士毕业的论文发表要求。<br>
读博期间，郭达雅的实习是在联培单位MSRA完成的。<br>
其间，郭达雅完成了CodeBert以及GraphCodeBert的研究，分别发表在EMNLP 2020 Findings和ICLR 2021上。<br>
CodeBert开发了一个双模态预训练模型，首次实现了自然语言（NL）和编程语言（PL）的双模态预训练，填补了此前没有模型能同时处理NL和PL混合输入的空白。<br>
而GraphCodeBert则在此基础上，首次将代码的数据流结构纳入预训练，让模型对代码的理解更深入。<br>
毕业时，郭达雅的博士论文《基于预训练的程序理解与生成》，获评2023年中山大学优秀博士学位论文。<br>
这篇论文主要以程序理解与生成为研究课题，并针对该领域现有研究工作在数据与模型方面存在的问题，提出了基于代码预训练的方法和模型，目的是利用人工智能技术提高软件开发的效率。<br>
从会议到博士论文，再到DeepSeek期间的工作，郭达雅的工作几乎是一直围绕着Coding展开，这也增加了曝料中他离职后负责Coding这一说法的可信度。<br>
DeepSeek-V3发布后，他的导师印鉴教授，还特别寄语，希望他能成为“中山大学的雷军”。<br>
截至目前，郭达雅已在NeurIPS、ACL、EMNLP等国际顶级AI会议发表论文十余篇，谷歌学术引用量超1300次。<br>
此外，在数据挖掘竞赛方面，郭达雅也长期活跃于一线赛场：<br>
2021、2022年，他连续两年拿下蚂蚁集团主办的ATEC科技精英赛冠军；<br>
2022年微信大数据挑战赛，3200支队伍同台竞技，他带队夺冠，成功将30万大奖收入囊中。<br>
而郭达雅最具代表性的战绩，是在腾讯广告算法大赛中连续夺冠。<br>
作为DYG战队核心成员，他在2019年获得冠军，并于2020年实现卫冕，利用BERT算法拿下50万元大奖；2021年又成功夺冠。<br>
也算是腾讯广告算法大赛名人堂选手了。<br>
One More Thing<br>
有意思的是，学术和竞赛全面开花的郭达雅，还有不太“科研”的一面——上综艺。<br>
在以程序员为主题的综艺真人秀《燃烧吧！天才程序员》中，郭达雅和另外15名选手一起展开了60小时的代码极限挑战。<br>
节目组把选手分成了S、SS、SSS三个级别，SSS级的“巨佬”只有2名，郭达雅就是其中之一。<br>
郭达雅一出场便引人瞩目，“巨佬来了”“神一样的存在”。<br>
不仅强，而且头发还挺茂密。<br>
但现在，秦失其鹿，天下共逐之…<br>
谁又能得到郭达雅呢？<br>
参考链接：<br>
[1]https://www.reddit.com/r/LocalLLaMA/comments/1rzu7rc/deepseek_core_researcher_daya_guo_rumored_to_have/<br>
[2]https://guoday.github.io/<br>
[3]https://mp.weixin.qq.com/s/bYztba9PwPHePhwufd4L7Q<br>
[4]https://sai.sysu.edu.cn/node/545