军事领域ChatGPT的能力与局限分析作者：中国指挥与控制学会来源： [中国指挥与控制学会](https://mp.weixin.qq.com/s/ClKaHydJvWkqUsVRiA3VFA) ChatGPT是基于大规模预训练语言模型的自然语言生成系统，具有以下能力特征：语言生成

军事领域ChatGPT的能力与局限分析

By AiBard123
June 30, 2023 - 2 min read

作者： 中国指挥与控制学会  来源： [中国指挥与控制学会](https://mp.weixin.qq.com/s/ClKaHydJvWkqUsVRiA3VFA)

ChatGPT是基于大规模预训练语言模型的自然语言生成系统，具有以下能力特征：

语言生成能力：ChatGPT可以对给定的上下文生成下一个单词的概率分布，从而实现语言生成的能力。这使得ChatGPT可以应用于自动对话、机器翻译、自动摘要等任务。
语言理解能力：ChatGPT可以进行语言理解,这使其可以应用于自然语言推理、情感分析等任务。
零样本学习能力：ChatGPT可以在没有额外训练数据的情况下，根据少量的样本生成具有语法和语义正确性的新文本。这使得ChatGPT可以应用于自动写作、创意生成等任务。
大规模预训练能力：ChatGPT可以在大规模的语料库上进行预训练，从而学习到丰富的语言模式和规律。这使得ChatGPT可以在各种自然语言处理任务中取得优秀的表现，例如在GLUE和SuperGLUE等基准测试中取得了较好的结果。
可扩展性和灵活性：ChatGPT可以通过在预训练模型的基础上进行微调，从而适应各种不同的任务和场景。此外，ChatGPT的模型结构和训练方法也可以进一步优化，以提高其性能和效率。

总之，ChatGPT具有强大的语言生成和理解能力，以及零样本学习、大规模预训练、可扩展性和灵活性等特点，使得它成为自然语言处理领域取得重要进展的重要技术之一，这为其应用提供了重要的基础。但要讨论其在军事领域的应用，还必须关注其局限性。

表层的局限性

以色列Ariel大学的Amos Azaria[①]研究发现，ChatGPT与数据中数字的使用有关。即，ChatGPT生成的数字频率与人类最喜欢的数字之间存在非常高的相关性。诸如此类，ChatGPT的这些表层局限性可以归纳为以下几个方面：

知识和推理能力有限：ChatGPT的语言生成和理解能力主要基于对大规模语料库的学习，而缺乏对真实世界知识和推理的理解能力。这意味着当用户提出对抗性问题或需要更深入理解的问题时，ChatGPT可能无法给出准确或深度的回答。
风险和偏见问题：由于ChatGPT的训练数据是从互联网上收集的，可能存在一些数据源的偏见和错误，从而导致ChatGPT生成的回答也存在偏见和错误。此外，ChatGPT也容易受到恶意攻击，如生成虚假信息、恶意言论等，从而对社会造成风险。
对话连贯性问题：尽管ChatGPT可以生成连贯的自然语言文本，但在长时间的对话中，其回答可能会和之前的话题或上下文关系不够紧密，从而导致对话的连贯性问题。此外，ChatGPT也容易生成不合理或矛盾的回答，需要通过更加复杂的对话管理技术来解决。

ChatGPT存在的这些局限性，很可能会限制其在军事领域的广泛使用，需要进一步研究和改进，以提高其面对复杂任务和真实世界应用的能力。

2. 深层的局限性

除了以上表层的局限性，还需要从复杂性的角度来考察其局限性。之前我们从复杂系统涌现性的角度分析了ChatGPT智能性的来源，同样地，系统的复杂性也可能成为风险的来源。

深度神经网络是一种高度复杂的非线性系统。这意味着，深度神经网络在应用和发展中也面临着一系列的复杂性问题。例如，深度神经网络是一种非线性的系统，其输入和输出之间的关系往往非常复杂，这使得网络的行为很难预测。深度神经网络往往需要大量的训练数据来训练，但是不同的数据可能会导致不同的结果。这也意味着网络的预测结果往往存在不确定性，需要采用合适的方法来评估和控制这种不确定性。这导致基于深度神经网络的模型可能存在数据偏见、泛化能力差、黑盒问题等局限性，从而导致隐私泄露、数据攻击、决策失误等风险。

对于基于深度神经网络的ChatGPT模型，上述的局限性和风险同样存在。例如，ChatGPT模型也需要大量的数据进行训练，而数据偏见和泛化能力差的问题同样会影响ChatGPT模型的性能。此外，ChatGPT模型也存在着黑盒问题，我们无法准确理解模型内部的运作机制，这可能会影响模型的解释性。另外，由于ChatGPT模型可以生成文本，所以与语音识别、图像识别等模型相比，ChatGPT模型在隐私泄露和数据攻击方面可能面临更大的风险。特别地，ChatGPT的军事应用需要特别考虑以下问题：

模型的可解释性：ChatGPT作为一个聊天机器人模型，需要能够提供可理解的、连贯的回复。在军事应用中，模型的可解释性是非常重要的。需要采用适当的方法来解释模型的内部机制和生成过程，以帮助人们更好地理解模型的行为和预测结果。
数据的多样性和质量：ChatGPT需要使用多样化的数据来训练，以避免数据偏见的问题，并且需要考虑数据的多样性和质量，以提高模型的泛化能力和性能。在军事应用场景下，要着重考虑作战场景的特殊性。
控制生成的内容：由于ChatGPT是一个自动生成文本的模型，存在一定的不确定性和随机性。因此，需要采用适当的方法来控制生成的内容，以保证生成的内容符合军事应用的需求。
模型的鲁棒性：ChatGPT需要具有良好的鲁棒性，以应对输入数据的变化和噪声的干扰。需要采用适当的控制方法和策略来保证模型的稳定性和鲁棒性。

总之，深度神经网络作为一种复杂系统，在其应用和发展中需要注意诸多复杂性问题。ChatGPT作为一个基于深度神经网络技术的聊天机器人模型，将其应用于军事场景的过程中同样需要注意这些问题并采取适当的措施来提高模型的稳定性、可靠性。（北京蓝德系信息科技有限公司研究员丁术亮）

参考资料：

[1] Azaria, Amos. “ChatGPT Usage and Limitations.” (2022).

本文来源：高端装备与产业研究中心