作者： NLP前沿 来源： NLP前沿

今天分享一个text-generation-webui社区新提交的pr， 个人还挺习惯看看这些热门工具的pr的。虽然从没用过相关的工具，但是诸如min_p，dry等优秀的实用策略，都是网友们在pr中提出的。

首先目前的采样策略可以归类为2类：

1. 截断概率分布的“尾部”，目的是通过去除没有意义的token来提高输出的一致性。如：Top-K、Top-P、Min-P、TFS 等。

2. 改变概率分布的形状，通常是为了提高一致性（通过将分布偏向更高概率的标记）或通过相反的方式增加“创造力”（即随机性）。示例：temperature，dynamic temperature等

所有这些采样策略都有一个共同点：它们不会改变token的概率顺序，特别是，原始分布中最可能的token仍然是应用此类采样器后最可能的token。

因此，现有的采样器在某种程度上不适合增强模型创造力的任务也非常的合理。能做的最好的操作就是减少截断（增大更多token的露脸概率），或者修改分布以使低概率（垃圾）token更有可能出现。结果往往是模型“跑偏”，而不是在通常意义上更具创造性。

这个pr还是一个采样策略，主要目的是提高模型的创造性：

原理 ：通过一个概率阈值先删除了最不可能的那些token。确保了至少一个“合理”的token范围。再次基础上，删除高概率的“无聊”token。在确保模型不跑偏的同时，保证了多样性。

到目前为止，经验是，这会带来非常好的结果。创造力超乎寻常，而连贯性几乎没有改变。当多次重新生成聊天消息时，这一点尤其明显：一旦足够长的上下文建立了期望，模型每次都会生成大致相同的消息结构。但启用 XTC 后，模型通常会生成与之前尝试完全不同的消息，因为消除最可能的选择会破坏根深蒂固的模式。

示例：

prompt: 写一个关于一个巫师失去魔法能力并尝试一切方法恢复魔法的故事。

baseline: min_p = 0.02 , (这更像是一个故事的摘要，而不是一个真实的故事。内容很一般，没有什么真实的情节。)

我很乐意帮助您创作一个关于一个巫师面临失去魔法能力的故事。这是一个可能的开始： 从前，在艾尔多利亚的魔法王国里，住着一位受人尊敬的巫师，名叫泽菲里昂。泽菲里昂以其智慧和非凡的魔法力量而闻名，数十年来一直忠实地为他的王国服务。然而，在决定命运的一天，当他试图施展一个简单的治疗咒语时，他的魔法却失败了。泽菲里昂感到震惊，他查阅了艾尔多利亚魔法历史的古籍，寻找解决他困境的答案。泽菲里昂决心恢复自己的魔法能力，开始了一项探索。他前往遥远的地方，寻求最著名的治疗师、圣贤和女巫的建议。他深入研究被遗忘的魔法知识深处，尝试稀有的草药和药剂，甚至经历了一系列的试验来净化他的灵魂中的任何杂质。当 Zephyrion 继续他的探索时，他遇到了无数的挑战和障碍。他遇到了试图阻碍他进步并考验他意志和决心极限的黑暗势力。但凭借毅力和坚定不移的决心，他取得了胜利，揭开了恢复魔法能力的秘密，并在这个过程中变得比以往任何时候都更加明智、善良和强大。您希望我详细说明这个故事的任何具体部分，或者为巫师在旅途中遇到的其他角色创建一些角色吗？

Min-P = 0.02, Temperature = 1.5 (比baseline更有创意。)

当然，我很乐意帮助您创作一个关于一个失去魔法能力的巫师的故事。这个巫师名叫艾德里昂，曾经是艾尔多利亚王国最强大的巫师。然而，随着年龄的增长，他开始注意到一个令人不安的趋势。曾经从指尖毫不费力地流淌出的咒语现在需要前所未有的集中力。曾经在他轻轻搅拌下完美地冒泡的药剂现在开始溅出并有沸腾的危险。 埃尔德里昂决心不让自己日渐衰弱的力量决定自己的存在，于是踏上了恢复魔法能力的旅程。他查阅了古老的卷轴，向长老会寻求指导，甚至还前往精灵智慧女巫居住的魔法峡谷朝圣。但当每一种方法都无效时，一种恐惧开始在他心中蔓延。 然而，他拒绝屈服于绝望。他开始反思自己衰落的可能根源——也许他年轻时就变得自满了？或者他的魔力是在他没有意识到的情况下汲取了自然世界的活力？不管原因如何，埃尔德里恩相信答案一定就在他自己身上，他致力于掌握最深奥的奥术技巧——冥想和自我反省。 随着他对冥想艺术的深入研究，他发现自己的注意力变得更加敏锐，他与自然世界的联系感被重新点燃。缓慢而坚定地，他体内的力量再次激动起来，以微妙而切实的方式显现出来。尽管他重新发现的能力只是他以前的辉煌的一个影子，但埃尔德里恩明白，真正的魔法力量不是来自一个人能力的内在潜力，而是来自无论情况如何继续掌握和磨练这些天赋的决心。

Min-P = 0.02, XTC threshold = 0.1, XTC probability = 0.5 (总体而言是最好的)

在埃尔德里达的魔法国度里，居住着一位名叫加德林的巫师，他以其深厚的魔法能力而闻名。然而，随着岁月的流逝，他的力量开始减弱。困惑和沮丧的他开始寻求找回失去的魔法能力。 他首先冒险前往低语森林，古老的树妖在那里传授他们古老的智慧。加德林花了几天时间沉浸在森林中冥想和练习。然而，他的魔法并没有发生任何变化。 接下来，他登上了水晶山脉，向睿智的山灵寻求答案。神灵指导他进行神秘仪式，但可惜的是，他的力量仍然难以捉摸。 加德林接下来冒险前往蓝宝石海，相信隐藏在大洋深处的古代知识可能能找到解决方案。海蛇是海洋最深处智慧的守护者，分享了魔法与巫师纯粹意图相关的故事。 被蛇的话感动了，加德林回到自己的塔楼进行深刻的自我反省。他质疑自己魔力衰退的根源，渐渐地，他明白了：是他对生活的幻灭和对权力的追求耗尽了他的力量。 加德林对自己的经历感到谦卑，他与生活建立了更深刻的联系，培养友谊并与周围的人分享他的知识。随着时间的推移，加德林一度减弱的魔力重新被点燃。

pr地址：https://github.com/oobabooga/text-generation-webui/pull/6335

更多AI工具，参考Github-AiBard123，国内AiBard123