作者： AINLP 来源： AINLP

本篇文章是一份关于大型语言模型评估的综述，涵盖了评估的各种方法，包括评估什么、在哪里评估以及如何评估 。****

文章首先介绍了大型语言模型的发展历程和应用领域 ，然后详细介绍了大型语言模型的评估方法 ，包括人工评估、自动评估和基准测试等。接着，文章介绍了大型语言模型在不同任务中的表现 ，包括文本生成、问答、机器翻译等。最后，文章总结了大型语言模型评估的挑战和未来发展方向 。

本文结构图本文贡献点LLMs评估论文趋势图

评估内容

本次调查涵盖了多个关键评估任务，包括一般自然语言处理任务、推理、医疗应用、伦理、教育、自然和社会科学、代理应用和其他领域 。

最新综述评估任务总结LLM 关于稳健性、道德、偏见和可信度的评估摘要。基于数学、科学和工程三个方面的自然科学与工程任务评估综述基于四个方面对医疗应用的评价总结：考试、助理、问答和教育其他应用的评估总结，包含四方面：教育、搜拖推荐、性格测试和其他特殊任务

文章中提到了关于LLM在不同任务中成功和不成功的案例 。

具体来说，在自然语言理解任务中，LLM在多项任务中表现出色 。在文本生成 任务中，LLM的生成质量有时甚至超过 了人类提供的参考答案。然而，在法律任务 中，LLM的零样本性能较差 ，存在多种问题，包括不完整的句子和单词、多个句子被无意义地合并以及更严重的错误，如不一致和虚构信息。

哪里评估

LLM 评估基准总结

评估方法和基准在评估LLM的表现中发挥着关键作用。

评估方法可以帮助研究人员确定LLM在不同任务中的表现，并提供改进LLM的方向。基准测试可以提供一个公共的标准，使得不同的研究人员可以在相同的数据集上进行比较，从而更好地评估LLM的表现。因此，评估方法和基准测试都是评估LLM表现的重要组成部分。

怎么评估

主要包括自动评估 和人工评估 。

评估协议总结

结论

本文的结论是，评估应该被视为更好地帮助开发更有效的LLM的关键学科。文章总结了LLM的评估方法和基准测试，并提供了LLM在不同任务中的成功和失败案例。此外，文章还指出了LLM评估面临的未来挑战。最后，本文还提供了一个开源的材料库，以帮助研究人员更好地评估LLM的表现能力。

论文：
A Survey on Evaluation of Large Language Models
地址：
https://arxiv.org/abs/2307.03109

进技术交流群请添加AINLP小助手微信（id: ainlp2)

请备注具体方向+所用到的相关技术点

![](https://api.allorigins.win/raw?url=https://mmbiz.qpic.cn/mmbiz_jpg/nW2ZPfuYqSJADkmZ2IX6Z23znAibuEevotDMq9iaMxiapK7jfMibiauGFkycicAJEs6x5U9SGyDJZ0S1tRed9TPNUUDQ/640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1&wx_co=1)

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括LLM、预训练模型、自动生成、文本摘要、智能问答、聊天机器人、机器翻译、知识图谱、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLP小助手微信(id：ainlp2)，备注工作/研究方向+加群目的。

  


  


![](https://api.allorigins.win/raw?url=https://mmbiz.qpic.cn/mmbiz_jpg/nW2ZPfuYqSKABHCqVVQkVYPrM4XY1vsd0iaeuXzyJnoFc8cibd5mYb4wdA3WMQtiaPVmr0XLZHMuVibqWncibpnTSnQ/640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1&wx_co=1)

阅读至此了，分享、点赞、在看三选一吧🙏

更多AI工具，参考Github-AiBard123，国内AiBard123