突出

•

应用文体测量法来区分 LLM 生成的文本，

•

深入了解 LLM 和人工文本特征，

•

使用 SHAP 进行 LLM 文本生成的文体分析

抽象

本文探讨了文体法作为区分大型语言模型 （LLM） 和人类创建的文本的一种方法，解决了模型归属、知识产权和道德 AI 使用等问题。文体测量法已被广泛用于描述文本的风格和属性作者。通过将其应用于 LLM 生成的文本，我们确定了它们出现的写作模式。该论文涉及创建一个基于维基百科的基准数据集，其中包含 （a） 人工编写的术语摘要，（b） 完全由 LLM 生成的文本（GPT-3.5/4、LLaMa 2/3、Orca 和 Falcon），（c） 通过多种文本摘要方法（T5、BART、Gensim 和 Sumy）处理，以及 （d） 改写方法（Dipper、T5）。10 句话长的文本通过基于树的模型（决策树和 LightGBM）进行分类，使用人工设计的 （StyloMetrix） 和基于 n-gram（我们自己的管道）的风格测量特征，对词汇、语法、句法和标点符号模式进行编码。交叉验证的结果在具有 7 个类别的多类场景中达到了高达 .87 Matthews 相关系数的性能，准确率在 .79 和 1 之间。在二元分类中，Wikipedia 和 GPT-4 的具体示例在平衡数据集上达到高达 .98 的准确率。Shapley Additive Explanations 指出了百科全书文本类型的特征、单个过度使用的单词以及 LLM 相对于人类书写文本的更大语法标准化。这些结果表明 - 至关重要的是，在日益复杂的 LLM 背景下 - 至少对于定义明确的文本类型，可以区分机器生成的文本和人类生成的文本

介绍

在动态扩展的自然语言处理领域，GPT 等变革性模型引入的大型语言模型 （LLM） 使机器能够模仿类似人类的文本生成，从而彻底改变了分析语言的方法。随着预训练 AI 模型的使用变得越来越普遍，人们对所有权、归属、知识产权和负责任使用等问题的担忧日益凸显出对先进方法的迫切需求，以确保 AI 生成作品的道德部署和适当归属，同时开发可靠的模型检测工具。

在这种情况下，文体学和作者署名的问题是一个关键方面。文体测量法，即对语言风格模式的定量研究，是有效区分文本的宝贵工具。通过检查写作风格的细微差异，人们可以发现区分一位作者与另一位作者的独特标记。Stylometric 功能提供了对特定 LLM 特征的详细理解，为模型识别提供了一种精细的方法。这不仅促进了差异化，而且增强了我们对这些模型中根深蒂固的语言特性的理解。挑战在于准确地将文本归属于正确的作者或模型，尤其是当语言模型变得越来越复杂并且它们的输出越来越与人类写作没有区别时。本文探讨了机器学习技术在识别特定语言模型特征的风格标记和模式方面的应用，从而增强了我们更准确地区分它们的能力。通过关注单词选择和句法模式等属性，我们的目标是揭示区分一个模型结果与另一个模型结果的语言指纹。

在模型检测和区分中对风格法的探索远远超出了技术考虑，还涉及道德影响。了解语言模型生产的特征风格特性有助于确保负责任的 AI 实践、促进透明度和问责制。LLM 安全和道德是这方面最重要的问题。确保以合乎道德的方式使用语言模型应考虑偏见、错误信息和生成有害内容的可能性等问题。本文通过推广风格学，旨在提供一个独特的视角，从而有助于更全面地理解语言模型在不同应用中的部署。这种方法不仅提高了我们保护知识产权的能力，还在 AI 社区中培养了一种责任感和信任的文化。

本文提出的研究提供了一种区分模型的创新方法。当我们驾驭技术、道德和风格测量的复杂相互作用时，我们的目标是为自然语言处理技术的负责任进步做出贡献。

本文的主要贡献如下：

1.

应用文体法来区分文本： 本文应用文体法来区分 LLM 生成的文本和人工编写的文本。传统上用于作者归属和文学风格分析的文体测量法被证明可以有效地识别 LLM 特有的写作模式。

2.

创建多样化数据集：该研究基于 （a） 人类编写的维基百科文本，（b） 通过各种文本摘要方法（T5、BART、Gensim 和 Sumy）处理的摘要，以及 （c） 由 LLM（GPT-3.5、GPT-4、LLaMa 2/3、Orca 和 Falcon）生成的摘要仅提示给定术语。此数据集允许对不同的文本生成方法进行全面分析。

3.

高分类性能：研究表明，基于树的分类器（决策树和 LightGBM）可以在文本分类方面实现高性能，在多类场景（有 7 个类）中达到高达 0.87 的马修斯相关系数，在二元分类中达到高达 1.00 的准确率（例如，以 0.98 的准确率区分维基百科和 GPT-4 生成的文本）。

4.

深入了解 LLM 和人工文本特征：本白皮书详细介绍了区分 LLM 生成文本和人工创作文本的特定特征。它强调 LLM 生成的文本往往具有更多的语法标准化，并且与人类编写的文本相比，可能会过度使用某些单词或标点符号。

5.

对合乎道德的 AI 使用的影响：本文强调需要强大的方法来跟踪和识别 AI 生成的输出，以确保合乎道德地使用 AI，解决围绕模型归属、知识产权和负责任地部署 AI 技术的问题。

6.

文体测量在未来 AI 应用中的潜力：研究表明，文体测量可以继续成为区分机器生成文本和人类编写文本的宝贵工具，尤其是随着 LLM 变得越来越复杂，突出了它在未来 AI 应用和治理中的潜在作用。

这份手稿分为六个部分，包括：1. 1、2. 2、3. 3、4. 4、5. 5 和 6. 6。

在 1 中提供了所介绍研究的基本原理。在这 2 中，我们介绍了我们工作的重要背景。我们自己的实验设计在 3 中详细说明。分类 4 将在下一节中可视化。最后，第 5 节和第 6 节包括一般性评论、已知的局限性和可能的未来研究方向，以及关键发现的清单。