Full text · 原文
2,084 字
龙虾太火，所有人都想一试。但真到了上手环节就会迎来第一道“拦路虎”——<br>
急急急，究竟哪个模型最适合OpenClaw啊？？<br>
知道你急，龙虾之父亲自赶来支招了：可以关注这个因吹斯汀的榜单。<br>
榜单名为PinchBench，专为龙虾而生，从成功率、速度、价格等维度评估全球大模型对OpenClaw的适配程度。（划重点，还是实时更新那种）<br>
这个榜单其实今年2月底就出现了，但现在却更火了——<br>
这里面不止有龙虾之父推荐的功劳，更重要的原因是咱中国模型的表现确实出色。（老外一看，嗯？？）<br>
前排国产模型含量好高啊<br>
熟悉龙虾的朋友都知道，这选模型可是一件大事。<br>
毕竟龙虾这玩意儿一吃token耗钱，二又不能太慢影响用户体验。<br>
换言之，人人都在价格和速度之间艰难走钢丝。<br>
而PinchBench要做的，就是直接告诉你答案——它按照成功率、速度、价格这三个基本维度对全球模型进行排名，所以哪个模型更擅长什么基本都一目了然。<br>
截至本文发稿前，榜单具体情况如下——<br>
整体而言，中国模型在成功率和速度方面都有不俗表现，价格方面则稍逊。<br>
比成功率，除了第一名谷歌Gemini 3 Flash，第二、第三名都出自国内。<br>
第一名（Gemini 3 Flash）：成功率95.1%<br>
第二名（MiniMax M2.1）：成功率93.6%<br>
第三名（Kimi K2.5）：成功率93.4%<br>
而且注意没，MiniMax用的还不是它家最新模型MiniMax M2.5。<br>
（注：MiniMax M2.5于春节期间上线，官方主打“让无限运行复杂Agent在经济上可行”。）<br>
比速度，国产模型MiniMax M2.5更是一举超越Gemini、Llama等模型，登上榜首。<br>
当时发布时，MiniMax M2.5就在SWE-Bench Verified测试中，完成任务的速度较上一代M2.1提升了37%，端到端运行时间缩短至22.8分钟，与Claude Opus 4.6持平。<br>
而Claude Opus 4.6的最新排名是30（M2.1是第22）。<br>
不过在价格方面，国产模型和OpenAI、谷歌模型相比则缺乏优势。<br>
排第一的GPT-5-nano（专为轻量级、高性价比场景设计），输入价格低至0.05美元/百万tokens，输出价格低至0.40美元/百万tokens。<br>
而国产模型中最便宜的MiniMax M2.1，输入价格为2.1元/百万tokens（约0.3美元/百万tokens），输出价格为8.4元/百万tokens（约1.2美元/百万tokens）。<br>
平均下来，后者的价格几乎是前者的3倍。<br>
综合来看，如果要在成功率和价格之间取得最佳平衡，下面这张图可以作为参考。<br>
左上角的方框已经圈选出了还不错的模型——一共8个，其中有4个还都是中国模型。<br>
Anyway，在这份专为龙虾而生的Benchmark中，国产模型的含量确实很高，而且在某些单项上表现出色。<br>
那么问题来了，这榜单靠谱吗？背后的筛选机制又是什么？<br>
来看PinchBench的介绍。<br>
谁是PinchBench？<br>
简单来说，PinchBench并不是某家大厂推出的标准Benchmark，而是来自一支做Agent基础设施的创业团队。<br>
团队名为Kilo AI，由GitLab前联合创始人兼CEO Sid Sijbrandij投资并参与创立，曾推出爆火“氛围编程”工具Kilo Code。<br>
年初龙虾爆火后，他们又顺势推出了基于OpenClaw构建的全托管智能体平台KiloClaw。<br>
而随着KiloClaw一起发布的，就有PinchBench这个智能体框架评测工具。<br>
PinchBench主要被用来测试不同大模型在真实工作流中的执行能力，和传统大模型Benchmark（比如知识问答、数学推理）不同，其定位更接近“Agent能力测试”——<br>
不只看模型会不会回答问题，而是看模型能不能完成一整件事。<br>
目前它大约包含23个真实任务的测试，包括但不限于：<br>
查询并整理资料<br>
写邮件或生成报告<br>
调用API完成操作<br>
……<br>
在评分机制上，PinchBench采用的是自动化检查+LLM评审的组合方式：<br>
一部分任务有明确的自动检查脚本，例如是否生成正确文件、是否完成指定操作等；另一部分任务则会由LLM Judge来判断结果质量。<br>
最终统计的核心指标就是我们上面提到的Success Rate（任务完成率）、Speed（完成速度）、Cost（推理成本）。<br>
由于评测方式偏向真实任务流程，值得注意的是，在PinchBench的排行榜上，你会看到一个有意思的现象——<br>
更大的模型并非总是制胜之道。<br>
换言之，那些偏Agent优化或推理效率更高的模型，排名反而比传统主流大模型更靠前。<br>
这一点也是PinchBench最近在圈子里被频繁讨论的原因之一。<br>
BTW，PinchBench目前还是完全开源的，用户也可以在平台上自行运行或添加新任务。<br>
如果以后不知道怎么选模型，不妨自己动手一试。<br>
PinchBench开源地址：https://github.com/pinchbench/skill