×

Llama 3每秒输出800个token逼宫openAI!下周奥特曼生日或放出GPT-5?

admin admin 发表于2024-05-01 12:25:43 浏览8 评论0

抢沙发发表评论

  新智元报道

  编辑:桃子 Lumina

  Llama 3 的开源,或将催生数十亿美元新产业。发布不到一周的时间,全网各种测试微调都开启了。甚至,Llama 3 在 Groq 上的输出速度实现了每秒 800 个 token。

  Llama 3 诞生之后便艳压群雄,开源界已无「模」能敌。

  甚至,让网友为 OpenAI 捏了一把汗!

  现在的 Llama 3-70B 已经一路攀升到大模型排行榜前列,仅次于 GPT-4,打败了 Claude 3 Opus。

  没想到,70B 都这么能打,400B 简直不敢想象。

  英伟达高级科学家 Jim Fan 预言,「GPT-5 一定会在 Llama 3 400B 发布之前出世」!

  还有网友认为,「我们现在有了一个顶级的开源竞争者,OpenAI 的巨大优势已经不复存在」。

  从 Llama 1,到 Llama 2、代码版 Code Llama 高调开源,颠覆了整个大模型圈,掀起新模型构建狂澜。

  如今的 Llama 3,对全世界意味着什么?

  数十亿美元新产业将涌现

  Hugging Face 创始人 Clement Delangue 称,目前基于 Llama 1 和 2 构建的开源模型已有 30000 多个。

  目前,Llama 3 是最强大的开源模型,肯定会对生态系统产生重大影响。

  在一个总榜上,Llama 3 超越了许多的开源、闭源模型。

  发布不到一周,AI 社区研究者们已经疯狂开启了对 Llama 3 的测试、微调。

  Reddit 网友使用 Llama 3 70B,非常轻易地制作了一个完美的「贪吃蛇」游戏,并且在苹果测试中表现优秀。

  但最令人振奋的是,这个模型可以进行微调。

  它绝对会疯狂发展。任何中小型公司都可以利用 Llama 3 400B 将生产力提升到空前水平。

  还有人通过 HF Chat 使用葡萄牙语测试 LLaMA 3,结果发现其超出预期,通过了推理测试。

  仅用一张英伟达 2070 显卡,开发者使用 Llama 3 8B 升级了本地离线 AI。

  竟发现,与这个 AI 助手 AniyaAI 的对话更有人情味儿了。

  目前,一个全新的微调新模型 dolphin-2.9-llama3-8b 诞生了,已在 Huggingface 上发布。

  还有网友在 M1 MacBook 上使用 mlx 框架,测试发现 llama 3 8b 的速度约为 95 token/秒。

  对于 Meta 来说,Llama 3 不仅仅是一个研究项目。

  它更是 Meta 将 AI 接入其庞大的应用和服务生态系统战略的关键部分。

  小扎在最新采访中透露,Llama 3 停止训练后,仍在学习。Meta 之所以停止训练,是因为需要 GPU 来开始测试 Llama 4。

  

  值得一提的是,Llama 3 的贡献者名单中也有小扎。

  AI 创业公司 Abacus AI 的首席执行官表示:

  「Llama 3 400B 将彻底改变世界,成为一个巨大的加速器!你可以使用 GPT 4-5 级别的模型做非常强大的事情。

  想象一下,将模型微调为 AI 医生、AI 经理,或 AI 女友。未来,基于这个基础模型,将会涌现价值数十亿美元的初创公司」!

  每秒输出 800 个 token,Llama3 惊呆网友

  另一边,Groq 也第一时间提供了对 Llama3 8B 和 70B 的支持。

  网址:https://console.groq.com/docs/models

  Groq Cloud 提供的支持,可以让大家在没有 GPU 的情况下使用这两个大模型。

  这无疑是对硬件资源不足、难以运行模型的微小企业与个人的巨大利好!

  并且,Llama3 在 Groq 上的表现也尤为惊艳:模型能以每秒超过 800 个 token 的速度运行!‍

  而一直以来的大模型王者 GPT-4 和新晋之秀 Claude 3 Opus,其生成速度也仅有每秒 36 token 和 18 token!

  这几乎是革命性的飞跃!

  Clamath 与 Groq 的 CEO 认为:接下来,Groq 将拥有比所有大型科技公司的总和还要多的 AI 生成能力!

  

  800 token/每秒的速度,意味着大模型将更具成本效益,并能在更广泛的范围内应用、落地。

  而 Llama3 媲美 GPT-4 级别的实力,打开了未来 AI 的无数种可能性。

  网友们的亲身体验更是力证了这一点!

  首先是简单的从 1 到 500 的计数:

  

  GPT-4 还在卡顿时,Groq 上的 Llama3 刚一接收指令就已经完成了任务。

  当 Llama3 已经完成任务半天了,GPT-4 连 100 以内都没计数完。

  然后任务难度升级,要求模型用 Python 编写贪吃蛇游戏:

  

  Groq 上的 Llama3 不到 3 秒就结束了战斗,而 GPT-4 却用了半分多钟才搞定。

  接着另一个程序员网友试着让 Llama3 创建一个用 PHP 编写的待办事项列表。

  指令刚发出就得到了结果,网友大为震撼,评价这次的使用体验:

  「就像光速一样。」

  同时,在调用多个工具完成任务方面,Llama3 的表现依旧惊艳!

  

  调用工具所用时间小于 4 秒,面对复杂的财务问题,回答也仅用了 2.9 秒。

  就连抓取整个网站提供给 Llama3,它也可以在短短几秒内就完成响应。

  甚至 Llama3 的 8B 模型 2 秒就能让完整的文件从λ-Calculus 转换为惯用的 JS......

  体验过的网友直接惊呼:「这是什么魔法?」

  最让人震撼的是,Groq 上的模型还都是免费开放的,团队甚至没有制作付费选项!

  在如此优秀的性能和强大免费的攻势下,已经有人宣布

  「我不会再用 GPT-4 Turbo 了。」

  与 Groq 上的 Llama3 的光速响应相比,ChatGPT 的缓慢已经引起了大多数用户的不满。

  有人制作了使用了 Groq 上的 Llama3 后,再切换到 ChatGPT 上的 GPT-4 体验的表情包:

  更有网友锐评:

  「就连 Claude 都比 ChatGPT 快!它的缓慢有时让我昏昏欲睡。」

  虽然有人厌倦了 ChatGPT 的缓慢,但也有人认为 GPT 较慢的生成反而增加了内容的可读性,也更适合人机交互。

  「快速获取数据的确非常棒!

  但较慢的生成有利于内容的可读性和对任务流程的理解,这对用户体验来说更友好。」

  此外,也有人认为 Llama3 的回答准确率不怎么高,不能只看速度不看质量。

  OpenAI 优势将不复存在?

  从 Gemini 到 Claude 3 接连叫板,再到类 GPT-4 级别的开源 400B 模型预告,GPT-4 真的危了!

  许多网友纷纷在线催更 GPT-5。

  据传言,OpenAI 有可能在 22 日(当地时间周一)有大动作。

  因为那天,正好是奥特曼的生日。

  与此同时,OpenAI 官方账号还发了一个有着数字「22」标志的王座。

  不过近来,奥特曼在采访中曾表示,OpenAI 有改进模型的使命,所以我们会把所有初创公司干掉。

  但在还没有发布 GPT-5 之前,初创公司需要有危机感了。

  参考资料:

  https://x.com/op7418/status/1781602335619494239

  https://x.com/verysmallwoods/status/1781479061144940736

  https://x.com/svpino/status/1781362565786075525

  https://x.com/DrJimFan/status/1781386105734185309

群贤毕至

访客