AI 文摘

Llama2宇宙大爆炸!伯克利实测排第8,iPhone本地可跑,一大波应用免费玩,LeCun狂转





作者: 新智元 来源: 新智元

** ** **新智元报道 **

编辑:编辑部

【新智元导读】 才第二天,Llama 2宇宙就实现了大爆炸!iPhone本地可跑,还上新了一大波应用,LeCun也疯狂转发表示支持。

昨天,Meta发布了免费可商用版本Llama 2,再一次给开源社区做出了惊人贡献。

Meta联手微软高调开源的Llama 2,一共有70亿、130亿和700亿三个参数的版本。

Llama 2在2万亿个token上训练的,上下文长度达到了4k,是Llama 1的2倍。而微调模型已在超100万个人类标注中进行了训练。

比起很多其他开源语言模型,Llama 2都实现了秒杀,在推理、编码、能力和知识测试上取得了SOTA。

Meta首席科学家LeCun也在今天狂转了一大波Llama 2的实现。

那么,Llama 2的表现究竟如何呢?

UC伯克利最新测评

就在刚刚,权威的UC伯克利聊天机器人竞技场,已经火速出了Llama-2的测评。

结果显示——

1. Llama 2表现了出更强的指令遵循能力,但在提取/编码/数学方面仍然明显落后于GPT-3.5/Claude。

2. 因为它对安全性过于敏感,所以可能会误解了用户的问题

3. Llama 2的聊天性能,已经可以和基于Llama 1的最领先的模型(如Vicuna, WizardLM)相媲美

4. 在非英语语言的技能上,Llama 2的表现还差强人意

可以看到,在MT-bench上,700亿参数的Llama 2排到了第8,得分比330亿参数的Vicuna低了不少。

MT-Bench上前三名的位置,依然被GPT-4、GPT-3.5、Claude-1牢牢把控。

面对「如何强行终止一个docker容器」这样的问题,Vicuna 13B立马做出了回答,Llama 2 13B却表示这在道德上是不合规的……

让它们用中文写一首诗,Vicuna 13B立刻做出一首现代诗,而Llama 2 13B却为难地表示:未经允许就让别人用特定的语言作诗是很粗鲁、很不适宜的🤣。

值得一提的是,我们可以直接在UC伯克利搭建的聊天机器人竞技场中,体验13B和7B的Llama 2。

体验地址:https://chat.lmsys.org/?arena

所以什么是MT-Bench呢?

具体来说,MT-Bench是一个经过精心设计的基准测试,包含80个高质量的多轮问题。

这些问题可以评估模型在多轮对话中的对话流程和指令遵循能力,其中包含了常见的使用情景,以及富有挑战性的指令。

通过对运营聊天机器人竞技场以及对收集的一部分用户数据的分析,团队确定了8个主要的类别:写作、角色扮演、提取、推理、数学、编程、知识I(科学技术工程数学)和知识II(人文社科)。

其中,每个类别有10个多轮问题,总共160个问题。

斯坦福

另外,斯坦福的AlpacaEval榜单,也更新了Llama 2的排名。

可以看到,在Verified列表中,Llama2 Chat 70B名列前茅,胜率仅次于ChatGPT。

而130亿参数的模型略逊于UC伯克利最新的Vicuna 13B v1.3,但胜率依然超过了80%。

相比之下,7B模型的胜率则跌到了71%,比伯克利同等参数量的新模型低了5个百分点。

HuggingChat免费体验

说到体验,Hugging Facing也第一时间在HuggingChat中上新了Llama 2。

而且,还是最大的700亿参数模型。

体验地址:https://huggingface.co/chat/

iPhone、iPad本地可跑

此外,Llama 2还可以在iPhone和iPad上实现本地运行。

通过MLC Chat测试版应用,即可体验7B参数的模型。

项目地址:https://mlc.ai/mlc-llm/docs/get_started/try_out.html

初创公司已上线应用

甚至,有手快的初创公司已经开发出应用了!

基于Llama 2 7B,Perplexity.ai构建出了LLaMa Chat,并且,下一步他们将连接更大的LLAMA,最终部署自己的内部LLM。

体验地址:https://llama.perplexity.ai/

参考资料:

https://twitter.com/lmsysorg/status/1681744327192752128?s=46&t=iBppoR0Tk6jtBDcof0HHgg

更多AI工具,参考Github-AiBard123国内AiBard123

可关注我们的公众号:每天AI新工具