Full text · 原文
1,790 字
金磊 发自 凹非寺<br>
量子位 | 公众号 QbitAI<br>
就在刚刚，马斯克一手开源动作，引发了大伙儿的高度关注——<br>
xAI现在正式开源Grok 2.5，Grok 3将在半年后开源。<br>
其实早在本月初的时候，马斯克就公开表示过：<br>
是时候开源Grok了，将会在下周。<br>
虽然开源的时间已经超过了他说的节点，但也正如网友所说：<br>
迟到总比没有的好。<br>
42个文件，500个G<br>
目前，Grok已经可以在HuggingFace中下载（链接附文末）：<br>
xAI官方建议用SGLang来运行Grok 2，具体步骤如下。<br>
第一步，下载权重文件。<br>
你可以把 /local/grok-2 换成任何你喜欢的文件夹名字：<br>
hf download xai-org/grok-2 —local-dir /local/grok-2<br>
官方表示，这个下载过程中可能会遇到一些错误，如果出错了，可以多试几次直到下载成功。<br>
下载成功后，文件夹里应该有42个文件，大小约为500GB。<br>
第二步，启动服务器。<br>
xAI官方建议安装最新版的SGLang推理引擎（版本号 >= v0.5.1，地址为：https://github.com/sgl-project/sglang/）。<br>
然后用下面的命令来启动推理服务器：<br>
python3 -m sglang.launch_server —model /local/grok-2 —tokenizer-path /local/grok-2/tokenizer.tok.json —tp 8 —quantization fp8 —attention-backend triton<br>
值得一提的是，这个模型需要8个GPU（每个都得有超过40GB的显存）才能运行。<br>
最后一步，就是发送请求。<br>
这是一个经过预训练的模型，所以我们需要确保使用的是正确的聊天模板：<br>
python3 -m sglang.test.send_one —prompt “Human: What is your name?<|separator|>nnAssistant:”<br>
发送请求后，我们就应该能看到模型会回复它的名字了，即Grok。<br>
那么xAI最新开源的Grok 2，到底是什么水平？<br>
虽然其能力定然是不及当下的各种最先进的主流模型，但我们可以从去年xAI发布的Grok 2相关模型的技术博客中略知一二。<br>
当时，它在LMSYS排行榜上，总体Elo分数已经超越了Claude和GPT-4。<br>
并且在一系列学术基准测试中，Grok 2系列在研究生级别科学知识（GPQA）、一般知识（MMLU、MMLU-Pro）和数学竞赛问题（MATH）等领域达到了与其他前沿模型相竞争的性能水平。<br>
不过有一说一，网友们虽然觉得马斯克开源的动作还挺好的，但也有不少诟病的言论。<br>
例如在HuggingFace中，我们并没有看到xAI明确指出开源模型的参数权重。<br>
因此网友们就只能根据以往的信息，猜测它是2690亿个参数的MoE模型。<br>
其次，就是开源协议的问题，因为xAI在HuggingFace中的表述是这样的：<br>
用网友的话来说，这基本上就是一个非商业许可的：<br>
Mistral、Qwen、DeepSeek、微软，甚至是OpenAI都在用MIT或Apache 2.0许可来开源模型。<br>
以及，也是最重要的一点，就是运行这个开源模型的条件：<br>
谢谢，我现在只需要8块显存超40GB的GPU……<br>
Two More Thing：<br>
除了开源动作之外，马斯克还发布了Grok APP上的一些新功能。<br>
这次的更新（v1.1.58）主要是聚焦在了AI视频生成，具体效果如下：<br>
感兴趣的小伙伴可以在APP上体验喽。<br>
以及马斯克还发了一段有趣的言论：<br>
xAI很快就会超越除谷歌外的任何公司（然后也将超越谷歌），但中国公司才是最大对手。<br>
参考链接：<br>
[1]https://x.com/elonmusk/status/1959379349322313920<br>
[2]https://x.com/HuggingPapers/status/1959345658361475564<br>
[3]https://x.com/elonmusk/status/1959384678768447976<br>
[4]https://x.com/elonmusk/status/1959388879888302363