×

Llama 3王者归来,可与GPT-4分庭抗礼,开源模型即将追上闭源模型了?

admin admin 发表于2024-05-01 12:42:50 浏览10 评论0

抢沙发发表评论

  4 月 18 日,AI 圈再迎重磅消息,Meta 带着号称“有史以来最强大的开源大模型”Llama 3 登场了。

  Meta 本次开源了 Llama 3 8B 与 70B 两款不同规模的模型,供外部开发者免费使用,未来几个月,Meta 将陆续推出一系列具备多模态、多语言对话、更长上下文窗口等能力的新模型。其中,大版本的 Llama 3 将有超过 4000 亿参数有望与 Claude 3“一较高下”。

  与此同时,Meta 首席执行官扎克伯格宣布,基于最新的 Llama 3 模型,Meta AI 助手现在已经覆盖 Instagram、WhatsApp、Facebook 等全系应用,并单独开启了网站,还有一个图像生成器,可根据自然语言提示词生成图片。Llama 3 的出现直接对标 OpenAI 的 GPT-4,与“并不 Open”的 OpenAI 截然不同,在 AI 圈围绕开源或闭源的路线争论不休之时,Meta 坚定沿着开源路线朝 AGI 的圣杯发起了冲锋,为开源模型扳回一局。

  知情人士透露,研究人员尚未开始对 Llama 3 进行微调,还未决定 Llama 3 是否将是多模态模型。有消息称,正式版的 Llama 3 将会在今年 7 月正式推出。

  Meta AI 首席科学家、图灵奖得主 Yann LeCun 一边为 Llama 3 的发布“摇旗呐喊”,一边预告未来几个月将推出更多版本,称 Llama 3 8B 和 Llama 3 70B 是目前同体量下,性能最好的开源模型。llama 3 8B 在某些测试集上性能比 llama 2 70B 还要强。

  就连马斯克也现身于该评论区,一句简洁的“Not bad”表达了对 Llama 3 的认可和期待。

  英伟达高级科学家 Jim Fan 认为,Llama 3 的推出已经脱离了技术层面的进步,更是开源模型与顶尖闭源模型可分庭抗礼的象征

  从 Jim Fan 分享的基准测试可以看出,Llama 3 400B 的实力几乎媲美 Claude“超大杯”以及新版 GPT-4 Turbo,将成为“分水岭”,相信它将释放巨大的研究潜力,推动整个生态系统的发展,开源社区或将能用上 GPT-4 级别的模型。

  公布当天恰逢斯坦福大学教授,AI 顶尖专家吴恩达的生日,吴恩达直言,Llama 3 的发布是自己这辈子收到过的最好的礼物,谢谢你 Meta!

  OpenAI 创始成员之一、特斯拉前 AI 总监 Andrej Karpathy 也对 Llama 3 表达了赞许。作为大语言模型领域的先驱之一,Karpathy 认为 Llama3 的性能已接近 GPT-4 的水平:

Llama3 是 Meta 发布的看起来非常强大的模型。坚持基本原则,在可靠的系统和数据工作上花费大量高质量时间,探索长期训练模型的极限。我也对 400B 模型非常兴奋,它可能是第一个 GPT-4 级别的开源模型。我想很多人会要求更长的上下文长度。

我希望能有比 8B 更小参数,理想规模在 0.1B 到 1B 左右的模型,用于教育工作、(单元)测试、嵌入式应用等。

  Rebuy 公司 AI 总监、深度学习领域的博士 Cameron R. Wolfe 认为,Llama 3 证明了训练优秀大语言模型的关键在于数据质量。他详细分析了 Llama 3 在数据方面做出的努力,包括:

1)15 万亿个 token 的预训练数据: 比 Llama 2 多 7 倍,比 DBRX 的 12 万亿个还要多;

2)更多代码数据: 预训练过程中包含更多代码数据,提升了模型的推理能力;

3)更高效的 tokenizer: 拥有更大的词汇表(128K tokens),提高了模型的效率和性能。

  在 Llama 3 发布后,小扎向媒体表示,“我们的目标不是与开源模型竞争,而是要超过所有人,打造最领先的人工智能。”未来,Meta 团队将会公布 Llama 3 的技术报告,披露模型更多的细节。

  这场关于开源与闭源的辩论还远未结束,暗中蓄势待发的 GPT-4.5/5 也许会在今年夏天到来,AI 领域的大模型之战还在上演。

群贤毕至

访客