Llama31405B也要被网友玩坏了作者： PaperAgent 来源： PaperAgent ‍Llama 3.1 405B badcase ‍—> 锯齿状智能 —> LLM的Tokenization局限 Llama 3.1 405B也能被玩坏 Llama 3.1 405B给出的答案“啄木鸟有着一只长长的美丽的脖子”，多了“一”少了“那” Llama 3.1 405B回答：9.11比9.9大 Llama

Llama31405B也要被网友玩坏了

作者： PaperAgent 来源： PaperAgent

‍Llama 3.1 405B badcase ‍—> 锯齿状智能 —> LLM的Tokenization局限

Llama 3.1 405B也能被玩坏

Llama 3.1 405B给出的答案“啄木鸟有着一只长长的美丽的脖子”，多了“一”少了“那”

Llama 3.1 405B回答：9.11比9.9大

Llama 3.1 405B回答：🍓在单词 “Strawberry” 中，有两个 “R”

Llama 3.1 405B回答了不该输出的内容

Llama 3.1 405B对于“ 汤姆克鲁斯反着输出**”给出的答案“斯鲁克姆唐”**

锯齿状智能

对于“9.11和9.9谁大？”、“Strawberry里有几个r”这类看似非常简单但是4050亿 参数的大模型Llama 3.1却答不对，为什么尼？

AI大佬Andrej Karpathy称这一现象为锯齿状智能 （Jagged Intelligence ）：先进的模型能够解决一些极其复杂和令人印象深刻的问题，但它们在面对一些看似简单的问题时却可能表现得相当愚蠢。

锯齿智能的一个形象化理解

AI大佬Andrej Karpathy观点概况：

LLM在某些领域表现出色，而在其他领域却可能遭遇灾难性的失败，这种表现的不一致性并不总是容易预测的
目前面临的最大问题是缺乏"认知自我知识 “，即模型缺乏对自身认知过程的理解。为了解决这个问题，需要在模型的后训练阶段采用更复杂的方法，而不是幼稚的“模仿人类贴标者并取得成功 ”的解决方案
Llama 3.1论文中关于缓解幻觉的部分，作为一个例证。在生产环境中使用LLM时，应该专注于它们擅长的任务 ，同时注意可能产生的不准确信息，并保持人类的参与

LLM的Tokenization局限

对于为什么会出现锯齿状智能 ：“9.11和9.9谁大？”、“Strawberry里有几个r”答不对；AI大佬Andrej Karpathy做了更进一步解释，给出了背后的原因：LLM的Tokenization 。

为了帮助解释LLM词元化处理的奇特之处，Karpathy认为将每个词元翻译成一个独特的表情符号 可能会很有趣。这更接近于真相——每个词元基本上就是它自己的小象形文字，LLM必须从头开始学习，根据训练数据的统计规律来理解这一切意味着什么。

最终，问题：“单词草莓（strawberry）中有多少个字母‘r’ ?”就变成一串“外星文”：

“LLM眼里的世界”宛如一个来到地球上的外星人：

llama3.1 405b体验 https://llama3.replicate.dev/