鱼羊发自凹非寺
量子位公众号 QbitAI
能打得过 GPT-4 的开源模型出现了！
大模型竞技场最新战报：1040 亿参数开源模型 Command R+ 攀升至第 6 位，与 GPT-4-0314 打成平手，超过了 GPT-4-0613。
这也是第一个在大模型竞技场上击败 GPT-4 的开放权重模型。
大模型竞技场，可是大神 Karpathy 口中唯二信任的测试基准之一。
Command R+ 来自 AI 独角兽 Cohere。这家大模型创业公司的联合创始人兼 CEO，正是 Transformer 最年轻作者 Aidan Gomez（简称割麦子）。
这份战报一出，又掀起了一波大模型社区的热烈讨论。
大家伙儿兴奋的理由很简单：基础大模型卷了一整年，没想到在 2024 年格局还在不断地发展变化。
HuggingFace 联合创始人 Thomas Wolf 就说：最近大模型竞技场上的情况发生了巨大的变化：
Anthropic 的 Claude 3 opus 在闭源模型中独占鳌头。
Cohere 的 Command R+ 则成为了开源模型中的最强者。
没想到，2024 年在开源和闭源两条路线上，人工智能团队的发展都如此之快。
另外，Cohere 机器学习总监 Nils Reimers 还指出了值得关注的一点：
Command R+ 最大的特色是对内置 RAG（检索增强生成）进行了全面优化，而在大模型竞技场中，RAG 这样的外挂能力并未纳入测试。
RAG 优化模型登上开源王座
在 Cohere 官方定位中，Command R+ 是一个“RAG 优化模型”。
就是说，这个 1040 亿参数的大模型主要针对检索增强生成技术进行了深度优化，以减少幻觉的产生，更适配于企业级工作负载。
和此前推出的 Command R 一样，Command R+ 的上下文窗口长度是 128k。
此外，Command R+ 还具备以下特点：
覆盖 10+ 种语言，包括英语、中文、法语、德语等； 能使用工具完成复杂业务流程的自动化从测试结果来看，在多语种、RAG 和工具使用这三个维度上，Command R+ 都达到了 GPT-4 turbo 的水平。
但在输入成本方面，Command R+ 的价格仅为 GPT-4 turbo 的1/3。
输出成本方面，Command R+ 则是 GPT-4 turbo 的1/2。
正是这点引发了不少网友的关注：
不过，尽管在大模型竞技场这种人类主观评测上表现抢眼，还是有网友甩出了一些不同观点。
在 HumanEval 上，Command R+ 的代码能力就连 GPT-3.5 都没打过，在两组测试中分别排在 32 位和 33 位。
最新版 GPT-4 turbo 则没有悬念地拿下了第一。
另外，我们也在最近刚登上正经论文的弱智吧 benchmark 上简单测试了一下 Command R+ 的中文能力。
你给打个分？
需要说明的是，Command R+ 的开源只面向学术研究，并不能免费商用。
One More Thing
最后的最后，还是多聊一嘴割麦子小哥。
Aidan Gomez，Transformer 圆桌骑士中最年轻的一位，加入研究团队时只是个本科生——
不过，是在多伦多大学读大三时就加入了 Hinton 实验室的那种。
2018 年，割麦子被牛津大学录取，开始像他的论文搭子们那样攻读 CS 博士学位。
但在 2019 年，随着 Cohere 的创立，他最终选择退学加入 AI 创业的浪潮。
Cohere 主要是为企业提供大模型解决方案，目前估值达到了 22 亿美元。
参考链接：
[1]https://twitter.com/lmsysorg/status/1777630133798772766
[2]https://txt.cohere.com/command-r-plus-microsoft-azure/
— 完 —
