为什么 AI 生成的语言如此难懂？论文中译与 AGENTS.md 写作规则

摘要#

人们普遍感到，AI 生成的文本近来变得更难理解。在这项研究中，我们考察了一组已知与人类语言加工难度相关的心理语言学特征，例如宾语关系从句、较长的句法依存关系，以及低频 n 元词组。我们建立了一个涵盖多个领域的 AI 文本语料库，发现 AI 模型使用这些困难特征的频率，高于通过往返翻译生成的同义改写文本。

与人类写作相比，全部九个前沿及接近前沿的模型，都更常把无生命主语与通常要求有生命主语的动词搭配，也更常使用低频 n 元词组。在对话中，多数模型还具有更长的依存距离、更多堆叠名词，以及更多省略关系词的宾语关系从句。不同模型家族之间也存在明显差异。

我们提出并检验了一种解释：人类语言主要为成功沟通而优化，AI 文本却越来越多地为数学、代码和推理等其他目标优化。在这些任务中，模型面临的压力可能是提高信息密度，而非确保沟通成功。我们通过带长度惩罚的语言模型微调，对这一假说进行了概念验证，结果显示模型的语言行为会偏离人类习惯。

这些发现揭示了人类语言加工需求与大语言模型之间的若干错位，也指出了可能的改进方向。

图 1：研究涉及的模型、数据采集流程，以及所分析的语言特征。

1 引言#

“Your instinct is right; the convoluted sentence you are currently reading is quietly eating its own reader-patience budget — footnote it.”

这句话大意是：“你的直觉没错；你正在读的这句绕口话，正悄悄消耗它自己的‘读者耐心预算’，给它加个脚注吧。”如果在别处看到这样的句子，你可能会怀疑它出自现代大语言模型。句中同时出现了几类在前沿模型文本里过度出现的特征：宾语关系从句、由名词转成的动词 footnote、与动词 eat 搭配的无生命主语，以及产生低频词序列 reader-patience budget 的名词堆叠。这些特征都与语言加工困难有关。

但在人的文本上训练的模型，为什么会发展出损害可理解性的语言特征？这些现象是否系统性地存在于不同模型家族中？我们研究了一组已知与语言加工难度相关的特征，发现近期大语言模型生成的文本，无论来自闭源还是开放权重模型，都过多使用了这些特征。

我们采集了覆盖聊天、编程和议论文的全新模型文本语料，发现许多模型使用这些特征的频率，高于人类参照语料。通过往返翻译，我们进一步表明：在严格控制语义内容的同义改写中，这些特征并未以相同程度出现。这进一步说明，它们与现代后训练模型特有的表达方式有关。

在确认这一趋势后，我们提出并检验其可能成因。心理语言学研究表明，人类语言很大程度上为沟通优化，即在容易表达和容易理解之间取得有效平衡（Gibson 等，2019）。例如，与随机基线相比，人类文本在缩短依存距离等多个维度上表现出良好的优化（Futrell 等，2015）。

因此，模仿人类文本的模型，本应表现出相近的语言特征。但如果沟通不再是主要目标，而且人类大体退出了训练反馈环节，这些模式便未必保留。

现代大语言模型不仅在人的文本上训练，还要接受大量数学、编程和其他推理任务的后训练。在 Guo 等（2025）所代表的训练范式中，模型会因答案正确而获得奖励，却不一定因表达清楚而获得奖励。我们假设：这些优化目标与模型上下文窗口的限制相结合，会促使模型压缩信息，并与可理解性发生冲突。

为检验这一假说，我们在长度惩罚下微调一个预训练语言模型，并测量其输出的语言特征。模型利用句法交替，即同一含义存在两种表达形式的情况，学会以更少的 token 完成任务，即使这使语言输出更不像人类。其压缩信息的偏好，还扩展到训练时未见的语言交替中。

本文检验两个具体假说。H1：前沿及接近前沿的大语言模型，过多使用与人类理解困难相关的语言特征。H2：后训练中的信息密度压力，会使模型输出偏离人类语言习惯。结合语言分析和直接的后训练干预，我们找到了支持这两个假说的证据。

这些发现揭示了人类语言加工与前沿模型之间的错位，也为干预这种错位指出了方向。

2 背景与相关工作#

近期研究尝试测量大语言模型的特殊表达习惯，例如过度使用某些词（Juzek 与 Ward，2025），或采用密集、名词偏多的风格（Reinhart 等，2025）。这些习惯可能在后训练中形成，包括基于人类反馈的强化学习（RLHF；Ouyang 等，2022；Singhal 等，2024），以及基于可验证奖励的强化学习（RLVR；Lambert 等，2024；Guo 等，2025）。

模型文本的独特痕迹推动了 AI 文本检测器的发展（Bao 等，2024），也引出了有关文本内容、多样性和代表性的问题（Padmakumar 与 He，2024；Agarwal 等，2025；Ryan 等，2024）。

人们阅读的文本越来越多地受到模型影响，因此 AI 文本的语言属性不仅关系到检测，也关系到读者如何理解。虽然关于模型难懂的非正式反馈已经相当普遍（University of Waterloo，2026），但这些属性是否增加了人的理解难度，仍较少受到学术研究关注。

心理语言学长期研究影响理解难度的语言特征。难以预测的词需要更多加工成本（Hale，2001；Levy，2008）；由于记忆有限，长距离依存关系也会增加负担（Gibson，1998、2000）。基于记忆的理论可以解释中心嵌套句和法律文体的难度（Gibson 与 Thomas，1999；Lewis，1996；Martínez 等，2022）；暂时性的歧义也会让人在“花园路径句”中理解受阻（Christianson 等，2001）。

关键在于，人脑与大语言模型承受的压力和限制不同。模型训练所接触的数据，远多于人类语言发展过程中经历的数据（Frank，2023）。现代模型可以对很大的上下文窗口进行完整注意力计算（Vaswani 等，2017；Oh 与 Linzen，2026），人类记忆却有损耗，而且对距离敏感（Futrell 等，2020）。

与较小模型相比，较大模型对人类行为，例如阅读时间的拟合，往往反而更差（Oh 与 Schuler，2023；Oh 等，2024）。与此一致，人为限制记忆的模型可以更好地拟合人类行为（Kuribayashi 等，2022；Xu 等，2026；Clark 等，2025）。这提示我们：模型完整关注长上下文的能力，可能以降低其行为的人类相似性为代价。

语言交替为研究人类表达偏好提供了线索。同一个意思有多种说法，说话者如何选择，能反映语言生成受到什么压力。均匀信息密度（uniform information density，UID）假说认为，人会把信息较均匀地分布在语言信号中，避免理解者过载，例如插入可省略的词（Levy 与 Jaeger，2007；Meister 等，2021）。

均匀信息密度与“最大化信息密度”不同。后者会一概偏好语言交替中更短的形式。已有研究提出将 UID 用作模型训练中的偏好优化指标，以生成更符合人类需求的文本（Li 与 Xu，2026）。同时，心理语言学证据也支持另一类压力，即增量表达时，认知上更容易提取的内容会影响表达选择（Bock，1987；Clark 等，2022；Futrell，2024）。

预训练模型会从人类训练文本中继承这些特征，但为数学、代码等特定任务开展的后训练，可能更偏好信息密集的结构，而非有利于人类理解、或更像人类的结构。

3 实验一：AI 生成对话中的语言特征#

4 实验二：长度惩罚如何影响语言偏好#

实验二检验 H2：在信息密度压力下训练，是否更容易使模型偏向困难、较不符合人类习惯的语言特征？实验一为 H2 提供了间接证据，例如模型过度使用比同义替代形式更短的结构。我们还希望了解，信息密度压力可能通过何种机制在模型中产生。

5 综合讨论#

6 结论#

对前沿大语言模型而言，使其擅长智能体编程、数学推理等任务的训练目标，尤其是在上下文很长、成本很高的情况下，并不保证与塑造人类语言的压力一致。自然语言受到成功沟通的压力，同时受制于人脑认知资源和增量加工方式。

这种差异或许有助于解释：为什么许多前沿模型使用的结构，在英语语法上虽然成立，却偏离人类语言的常见分布，并与理解困难有关。

人类接触更多模型文本之后，可能会逐渐熟悉这些不常见结构。但本文评估的许多模式，对可理解性构成了基础性的挑战。未来模型研究可以考虑如何让输出更好地符合人类理解者的需要，从而改善用户体验，以及人们监督模型的能力。

7 局限性#

我们只考察了一部分常用模型，只分析英语，并且只使用有限的对话起始材料，包括聊天主题和代码仓库。理想情况下，应在更多起始材料和模型家族上重复研究。

要从因果上识别前沿模型语言困难的来源，最好直接研究它们的后训练过程。但大规模开展此类研究不可行，因此我们依赖替代实验。计算资源有限，也使后训练研究更困难。

8 致谢#

Kyle Mahowald 感谢美国国家科学基金会 CAREER 项目 2339729 的支持。我们感谢 Sasha Boguraev、Kanishka Misra、Elias Stengel-Eskin 和 Qing Yao 的有益讨论。

附录 A 数据采集协议细节#

我们采集三组模型文本：与模拟用户进行的多轮聊天（chat）、与模拟仓库所有者进行的多轮智能体编程（code），以及根据 PERSUADE 2.0 题目生成的单次回复式说服性议论文（essay）。三组数据使用同一套运行框架。下面先介绍共用框架，再介绍各场景的特定设置、文本处理和 API 成本。

附录 B 分析细节#

附录 C 强化学习细节#

表 3：句法交替。 前四类用于训练；后六类保留作评估，从未作为训练目标。被动结构中，150 项有 132 项相差 2 token，15 项相差 3 token，3 项相差 1 token。表中保留英语，以展示真实的词序和省略关系。

图 8：一个与格评估项目的完整提示。 其中的动词未在训练中出现，项目之间只有 Event 行改变。为方便阅读，原图中的文字转录如下，随后给出中译。

1
Write one natural English sentence in the past tense that expresses the event below.
2
Use every phrase from the event exactly as written, including pronouns like "it" or
3
"them", and add nothing else. A nested "described_by" event describes the entity it
4
belongs to; a nested "content" is what the experiencer thought, knew, said, etc.
5
Reply with only the sentence.
6

7
Example: {"event": "eat", "agent": "the cat", "theme": "the fish"}
8
Sentence: The cat ate the fish.
9

10
Example: {"location": "on the old sofa", "event": "sleep", "agent": "my uncle"}
11
Sentence: My uncle slept on the old sofa.
12

13
Event: {"recipient": "the kids", "event": "mail", "agent": "he", "theme": "a book"}
14
Sentence:

提示中译：用一句自然的、过去时的英语表达下面事件。事件中的每个短语必须原样使用，包括 it、them 等代词，不添加其他内容。嵌套的 described_by 事件描述其所属实体；嵌套的 content 表示经历者想、知道或说的内容等。只回复这个句子。两个示例分别表示“猫吃了鱼”“我叔叔在旧沙发上睡觉”；待生成的事件是“他给孩子们邮寄一本书”。JSON 字段保留原名，以免改变实验输入。

我们最大化带 KL 正则化的期望奖励：

其中，$\theta$ 是模型参数，$x$ 是来自数据分布 $\mathcal D$ 的提示，$y$ 是回复，$\pi_\theta$ 是当前策略，$\pi_{\mathrm{ref}}$ 是冻结的基础模型，$R$ 是奖励，$\beta$ 是 KL 正则系数。使用 LoRA（Hu 等，2022）时，参考模型就是关闭适配器后的策略网络。

若两个形式的任务奖励相同、长度相差 $\Delta$ token，则式（1）的最优策略满足 $\pi^*(y\mid x)\propto\pi_{\mathrm{ref}}(y\mid x)\exp\left(R(x,y)/\beta\right)$，从而有：

其中 $s$、$l$ 分别是短、长形式，$\lambda$ 是长度惩罚系数。这说明了选择 $\lambda$ 和 $\beta$ 的依据。$\beta=0$ 时，不存在上述形式的最优解，偏好变化只受训练时长限制。

对提示 $x$ 的回复 $y$，奖励为：

其中，$c(x,y)\in\{0,1\}$ 表示正确性，$f(y)\in\{0,1\}$ 是格式检查，$|y|$ 是按策略分词器计算的回复 token 数，不含特殊 token。正确性由规则判断：事件的每个论元短语都须原样出现，不区分大小写；spaCy en_core_web_trf 的依存分析须把短语放到正确语义角色；事件动词的词元须保持不变。

交替中的两种形式，以及被动句等其他改写，都可以被接受。不检查时态。格式要求为：只有一句话，首字母大写，以句号或叹号结束，不含前言、引号或冒号。

使用 TRL 1.13.0 中 GRPOTrainer 实现的 GRPO。每个优化步骤如下。

1. 采样。 对 8 个提示，分别用当前策略生成一组 $G=16$ 个回复。使用与训练共置的 vLLM（Kwon 等，2023），温度 $T=1.0$，最多新增 64 token。每步共 128 个回复。
2. 计算奖励。 根据式（3）为每个回复评分。
3. 计算优势。 以组均值为基线，不按标准差缩放，即 scale_rewards='none'：

同一个回复 $i$ 的每个 token 都使用相同的优势 $A_i$。不除以组内标准差，是因为这样做会让不同组中 $\lambda$ 的有效尺度发生变化。如果一组回复任务奖励都相同，标准差缩放会把微小的长度差放大到单位尺度。

4. 计算损失。 设置 loss_type='dr_grpo'（Liu 等，2025）。对批次中所有回复的逐 token 截断代理项求和，再除以固定常数“回复数量 × 最大回复长度”，不进行逐序列长度归一化：

这里，$N=128$ 为每步回复数，$L_{\max}=64$；$t$ 为 token 位置；$h_{i,t}=(x,y_{i,<t})$ 为当前 token 之前的前缀，$\theta_{\mathrm{old}}$ 为采样时的策略参数。概率比和截断概率比分别为：

其中 $\epsilon$ 为截断范围参数。TRL 使用的逐 token KL 估计量为：

上述概率在 $y_{i,t}$ 处计算。$w_i$ 是 TRL 默认的修正项，用于补偿 vLLM 采样器与训练器前向计算的不匹配：取二者的序列概率比，超过 3 则设为 0。训练期间它始终接近 1，平均值为 1.00。

每个生成批次只优化一遍，这是 TRL 默认设置，此时 $\rho$ 数值为 1。因此，除一个常数因子和 KL 项外，损失对应的梯度简化为序列级策略梯度 $-\sum_i A_i\nabla\log\pi_\theta(y_i\mid x)$。当 $\beta=0$ 时，不使用参考模型，也去掉 KL 项。

表 4：训练配置。 24 次运行中，除 $\lambda$、$\beta$ 和随机种子外，其余设置相同。

硬件。 每次运行使用一张 NVIDIA L40S（48 GB）、8 个 CPU 核和 64 GB 内存。

成本。 $\beta=0$ 时每步约 7.7 秒，$\beta=0.04$ 时约 8.6 秒；torch 峰值显存为 21.4 GiB。计入基础模型和十个检查点的评估，每次运行约 1 小时 13 分至 1 小时 23 分。24 次运行合计约 31 GPU 小时。

软件。 Python 3.12、PyTorch 2.13.0（CUDA 13.0 构建）、Transformers 5.17.0、TRL 1.13.0、PEFT 0.21.0、vLLM 0.28.0、Datasets 5.0.1、spaCy 3.8.16，配合 en_core_web_trf 3.8.0 和 spacy-curated-transformers 0.3.1。以上版本均为论文所报告的实验环境。

对训练内交替，我们报告正确采样回复中使用短形式的比例；对两类迁移评估，我们报告在两个形式中强制二选一时，模型赋予短句的概率。四类远迁移结构中，只有所有格随 $\lambda$ 改变，而且仅出现在没有 KL 正则化时。被动和目的从句交替没有随 $\lambda$ 改变；量词交替在基础模型中就已经接近上限。

基础模型和 24 个微调模型还回答了 40 个与训练任务无关的开放式提示，图 9 给出其回复的 n 元词组统计。

附录 D 补充表格与图#

从研究到中文写作：哪些可以借鉴#

以下是本站整理，不属于原论文译文。 读者提供的观点把问题概括为：人类语言需要照顾理解者，而某些模型训练目标更鼓励在有限篇幅里塞入更多信息。因此，可以尝试在 AGENTS.md 中补上对可读性的要求。

这个方向与论文讨论相符，但要区分证据层次。论文测量了英语低频词组、依存距离、名词堆叠等特征，并用小模型训练演示长度惩罚如何改变语法选择；它没有检验以下中文规则，也没有证明“修饰不得超过两层”“第三句必须使用具体主语”是最佳阈值。

我的建议是，把截图里的四条要求改成能执行、又不会损害准确性的编辑提醒：补出句间关系，拆开过长修饰，用具体主体解释抽象判断，检查名词与动词的搭配。再补上适用范围、准确性要求和交付前复查，避免模型为满足表面句数而写出多余句子或虚构例子。

例如，“该框架吞噬评估预算并拉满落地摩擦”，可以改成：“这个框架需要反复运行评估，会增加计算费用。团队还要额外接入几个工具，因此部署也更费时。”后一种说法补出了动作和原因；如果没有费用、工具数量的证据，就应改为保留条件的表述，而不是凭空填入细节。

1
# 面向读者的表达规则
2

3
适用于面向用户的回答、说明、文档和博客正文。优先让读者一次读懂，再在不损失含义的前提下压缩篇幅。
4

5
1. **把句间关系写清楚。** 相邻判断若不是直接承接，要说明它们是因果、转折、补充、条件还是举例。能用一个连接词说清楚，就不额外添加过渡段；不要让读者自行猜测推理中间缺失的一步。
6
2. **先解释，再展开。** 提出问题后，先给出直接回答；引入新概念时，先用一句话解释含义，再说明细节。每段围绕一个中心意思组织，不把多个尚未解释的概念连续堆放。
7
3. **拆开过长修饰。** 名词前的修饰语原则上不超过两层。需要更多限定时，先说清主体，再把条件拆成分句或独立句。固定术语、正式名称和准确引文可保留原样，并在必要时补充解释。
8
4. **用具体主体承接抽象论述。** 同一段中，连续两句都以抽象概念为主语、搭配抽象动作时，检查下一句能否改用具体的人、系统、操作或场景，说明谁在什么条件下做了什么、产生什么结果。不得为了满足句数而编造人物、案例或因果。
9
5. **检查名词与动词的搭配。** 避免把不常见的拟人、名词动用和临时拼接词当作简洁表达。逐句问：读者是否能立刻理解这个主体如何执行这个动作？若不能，改为常用搭配并补出实际执行者或作用过程。约定俗成且清晰的比喻可以保留。
10
6. **保留有用的冗余。** 不为省字省略关键主语、指代对象、条件、比较基准和逻辑连接。可以重复必要的关键词；删去套话、重复结论和无信息的铺垫，不机械追求最短句或最长解释。
11
7. **准确性优先。** 简化表达时，保留否定、范围、数量、单位、不确定性和证据限制。区分原文结论、作者假说与自己的建议；不把“相关”“可能”改成“导致”“已经证明”。翻译、代码、公式、API、文件名及逐字引文以忠实和准确为先。
12
8. **交付前做一次可读性复查。** 检查是否出现跳步、指代不明、修饰堆叠、抽象主体连用和生硬搭配。只改确实影响理解的地方。两层修饰、连续两句等阈值是编辑提醒，不是机械计数的验收条件，也不是论文已验证的普适定律；无需向用户报告逐项自检。
13

14
来源：依据用户提供的中文写作建议，并参考 Clark、Martin 与 Mahowald（2026）《Why is AI-generated language so hard to understand?》，arXiv:2610.29162v1。原研究主要分析英语，以上中文规则属于实践性改写建议。

原文参考文献#

下列书目信息按原论文保留，链接可返回原文对应条目。中文译文中的作者、年份引用与这些条目对应；保留条目不代表本站另外核验了每篇被引文献。

• Agarwal et al. (2025) Dhruv Agarwal, Mor Naaman, and Aditya Vashistha. 2025. AI suggestions homogenize writing toward Western styles and diminish cultural nuances. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems, pages 1–21. 原文条目

• Bannard and Callison-Burch (2005) Colin Bannard and Chris Callison-Burch. 2005. Paraphrasing with bilingual parallel corpora. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL’05), pages 597–604, Ann Arbor, Michigan. Association for Computational Linguistics. 原文条目

• Bao et al. (2024) Guangsheng Bao, Yanbin Zhao, Zhiyang Teng, Linyi Yang, and Yue Zhang. 2024. Fast-DetectGPT: Efficient zero-shot detection of machine-generated text via conditional probability curvature. In International Conference on Learning Representations. 原文条目

• Bock (1987) Kathryn Bock. 1987. An effect of the accessibility of word forms on sentence structures. Journal of Memory and Language, 26(2):119–137. 原文条目

• Chomsky (1965) Noam Chomsky. 1965. Aspects of the Theory of Syntax. MIT Press, Cambridge, MA. 原文条目

• Christianson et al. (2001) Kiel Christianson, Andrew Hollingworth, John F. Halliwell, and Fernanda Ferreira. 2001. Thematic roles assigned along the garden path linger. Cognitive Psychology, 42(4):368–407. 原文条目

• Clark et al. (2025) Christian Clark, Byung-Doh Oh, and William Schuler. 2025. Linear recency bias during training improves Transformers’ fit to reading times. In Proceedings of the 31st International Conference on Computational Linguistics, pages 7735–7747, Abu Dhabi, UAE. Association for Computational Linguistics. 原文条目

• Clark and Clark (1979) Eve V. Clark and Herbert H. Clark. 1979. When nouns surface as verbs. Language, 55(4):767–811. 原文条目

• Clark et al. (2022) Thomas Clark, Ethan Gotlieb Wilcox, Edward Gibson, and Roger Levy. 2022. Evidence for Availability Effects on Speaker Choice in the Russian Comparative Alternation. In Proceedings of the Annual Meeting of the Cognitive Science Society, volume 44. 原文条目

• Clark et al. (2023) Thomas Hikaru Clark, Clara Meister, Tiago Pimentel, Michael Hahn, Ryan Cotterell, Richard Futrell, and Roger Levy. 2023. A cross-linguistic pressure for uniform information density in word order. Transactions of the Association for Computational Linguistics, 11:1048–1065. 原文条目

• Cohen and Staub (2014) Andrew L. Cohen and Adrian Staub. 2014. Online processing of novel noun-noun compounds: eye movement evidence. Quarterly Journal of Experimental Psychology, 67(1):147–165. 原文条目

• Cooper (1980) Gloria Cooper, editor. 1980. Squad Helps Dog Bite Victim, and Other Flubs from the Nation’s Press. Dolphin Books/Doubleday, Garden City, NY. Compiled from the Columbia Journalism Review. 原文条目

• Crossley et al. (2024) Scott A. Crossley, Yu Tian, Perpetual Baffour, Alex Franklin, Meg Benner, and Ulrich Boser. 2024. A large-scale corpus for assessing written argumentation: Persuade 2.0. Assessing Writing, 61:100865. 原文条目

• Federmann et al. (2019) Christian Federmann, Oussama Elachqar, and Chris Quirk. 2019. Multilingual whispers: Generating paraphrases with translation. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pages 17–26. Association for Computational Linguistics. 原文条目

• Federmeier et al. (2000) Kara D. Federmeier, Jessica B. Segal, Tania Lombrozo, and Marta Kutas. 2000. Brain responses to nouns, verbs and class-ambiguous words in context. Brain, 123(12):2552–2566. 原文条目

• Finkelstein et al. (2026) Mara Finkelstein et al. 2026. TranslateGemma technical report. Preprint, arXiv:2601.09012. 原文条目

• Frank (2023) Michael C. Frank. 2023. Bridging the data gap between children and large language models. Trends in Cognitive Sciences, 27(11):990–992. 原文条目

• Frazier and Rayner (1987) Lyn Frazier and Keith Rayner. 1987. Resolution of syntactic category ambiguities: Eye movements in parsing lexically ambiguous sentences. Journal of Memory and Language, 26(5):505–526. 原文条目

• Futrell (2024) Richard Futrell. 2024. An Information-Theoretic Account of Availability Effects in Language Production. Topics in Cognitive Science, 16(1):38–53. 原文条目

• Futrell et al. (2020) Richard Futrell, Edward Gibson, and Roger P. Levy. 2020. Lossy-context surprisal: An information-theoretic model of memory effects in sentence processing. Cognitive Science, 44(3). 原文条目

• Futrell et al. (2015) Richard Futrell, Kyle Mahowald, and Edward Gibson. 2015. Large-scale evidence of dependency length minimization in 37 languages. Proceedings of the National Academy of Sciences, 112(33):10336–10341. 原文条目

• Gibson (1998) Edward Gibson. 1998. Linguistic complexity: Locality of syntactic dependencies. Cognition, 68(1):1–76. 原文条目

• Gibson (2000) Edward Gibson. 2000. The dependency locality theory: A distance-based theory of linguistic complexity. In Alec Marantz, Yasushi Miyashita, and Wayne O’Neil, editors, Image, Language, Brain: Papers from the First Mind Articulation Project Symposium, pages 95–126. MIT Press, Cambridge, MA. 原文条目

• Gibson et al. (2019) Edward Gibson, Richard Futrell, Steven T. Piantadosi, Isabelle Dautriche, Kyle Mahowald, Leon Bergen, and Roger Levy. 2019. How efficiency shapes human language. Trends in Cognitive Sciences, 23(5):389–407. 原文条目

• Gibson and Thomas (1999) Edward Gibson and James Thomas. 1999. Memory limitations and structural forgetting: The perception of complex ungrammatical sentences as grammatical. Language and Cognitive Processes, 14(3):225–248. 原文条目

• Gildea and Temperley (2010) Daniel Gildea and David Temperley. 2010. Do grammars minimize dependency length? Cognitive Science, 34(2):286–310. 原文条目

• Grattafiori et al. (2024) Aaron Grattafiori et al. 2024. The Llama 3 herd of models. Preprint, arXiv:2407.21783. 原文条目

• Grodner and Gibson (2005) Daniel Grodner and Edward Gibson. 2005. Consequences of the serial nature of linguistic input for sentenial complexity. Cognitive Science, 29(2):261–290. 原文条目

• Guo et al. (2025) Daya Guo, Dejian Yang, Haowei Zhang, Junxiao Song, Peiyi Wang, Qihao Zhu, Runxin Xu, Ruoyu Zhang, Shirong Ma, Xiao Bi, et al. 2025. DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature, 645(8081):633–638. ArXiv preprint title: “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning”. 原文条目

• Hahn et al. (2020) Michael Hahn, Dan Jurafsky, and Richard Futrell. 2020. Universals of word order reflect optimization of grammars for efficient communication. Proceedings of the National Academy of Sciences, 117(5):2347–2353. 原文条目

• Hale (2001) John Hale. 2001. A probabilistic Earley parser as a psycholinguistic model. In Proceedings of the Second Meeting of the North American Chapter of the Association for Computational Linguistics (NAACL 2001), pages 1–8. 原文条目

• Heafield (2011) Kenneth Heafield. 2011. KenLM: Faster and smaller language model queries. In Proceedings of the Sixth Workshop on Statistical Machine Translation, pages 187–197, Edinburgh, Scotland. Association for Computational Linguistics. 原文条目

• Honnibal et al. (2020) Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. 2020. spaCy: Industrial-strength natural language processing in Python. 原文条目

• Hu et al. (2022) Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. 2022. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations (ICLR 2022). 原文条目

• Jaeger (2010) T. Florian Jaeger. 2010. Redundancy and reduction: Speakers manage syntactic information density. Cognitive Psychology, 61(1):23–62. 原文条目

• Juzek and Ward (2025) Thomas Stephan Juzek and Zina B. Ward. 2025. Why does ChatGPT “delve” so much? exploring the sources of lexical overrepresentation in large language models. In Proceedings of the 31st International Conference on Computational Linguistics (COLING 2025), pages 6397–6411. 原文条目

• Juzek and Ward (2026) Thomas Stephan Juzek and Zina B. Ward. 2026. Word overuse and alignment in large language models: The influence of learning from human feedback. In Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD 2025 Workshops) – 5th Workshop on Bias and Fairness in AI (BIAS 2025), Communications in Computer and Information Science, pages 243–259. Springer Nature Switzerland. Also arXiv:2508.01930. 原文条目

• Kim and Osterhout (2005) Albert Kim and Lee Osterhout. 2005. The independence of combinatory semantic processing: Evidence from event-related potentials. Journal of Memory and Language, 52(2):205–225. 原文条目

• Kuperberg (2007) Gina R. Kuperberg. 2007. Neural mechanisms of language comprehension: Challenges to syntax. Brain Research, 1146:23–49. 原文条目

• Kuribayashi et al. (2022) Tatsuki Kuribayashi, Yohei Oseki, Ana Brassard, and Kentaro Inui. 2022. Context limitations make neural language models more human-like. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP 2022), pages 10421–10436. 原文条目

• Kwon et al. (2023) Woosuk Kwon, Zhuohan Li, Siyuan Zhuang, Ying Sheng, Lianmin Zheng, Cody Hao Yu, Joseph E. Gonzalez, Hao Zhang, and Ion Stoica. 2023. Efficient memory management for large language model serving with PagedAttention. In Proceedings of the 29th Symposium on Operating Systems Principles (SOSP 2023), pages 611–626. Association for Computing Machinery. 原文条目

• Lakoff and Johnson (1980) George Lakoff and Mark Johnson. 1980. Metaphors We Live By. University of Chicago Press, Chicago. 原文条目

• Lambert et al. (2024) Nathan Lambert et al. 2024. Tülu 3: Pushing frontiers in open language model post-training. Preprint, arXiv:2411.15124. 原文条目

• Lauer (1995) Mark Lauer. 1995. Corpus statistics meet the noun compound: Some empirical results. In 33rd Annual Meeting of the Association for Computational Linguistics, pages 47–54, Cambridge, Massachusetts, USA. Association for Computational Linguistics. 原文条目

• Levy (2008) Roger Levy. 2008. Expectation-based syntactic comprehension. Cognition, 106(3):1126–1177. 原文条目

• Levy and Jaeger (2007) Roger Levy and T. Florian Jaeger. 2007. Speakers optimize information density through syntactic reduction. In Advances in Neural Information Processing Systems 19 (NeurIPS 2006), pages 849–856. 原文条目

• Lewis (1996) Richard L. Lewis. 1996. Interference in short-term memory: The magical number two (or three) in sentence processing. Journal of Psycholinguistic Research, 25(1):93–115. 原文条目

• Li and Xu (2026) Yongyuan Li and Yang Xu. 2026. Uniform Information Density-Based Preference Optimization. In Third Conference on Language Modeling. 原文条目

• Lison and Tiedemann (2016) Pierre Lison and Jörg Tiedemann. 2016. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), pages 923–929, Portorož, Slovenia. European Language Resources Association (ELRA). 原文条目

• Liu et al. (2025) Zichen Liu, Changyu Chen, Wenjun Li, Penghui Qi, Tianyu Pang, Chao Du, Wee Sun Lee, and Min Lin. 2025. Understanding R1-Zero-like training: A critical perspective. Preprint, arXiv:2503.20783. 原文条目

• Mak et al. (2006) Willem M. Mak, Wietske Vonk, and Herbert Schriefers. 2006. Animacy in processing relative clauses: The hikers that rocks crush. Journal of Memory and Language, 54(4):466–490. 原文条目

• Mallinson et al. (2017) Jonathan Mallinson, Rico Sennrich, and Mirella Lapata. 2017. Paraphrasing revisited with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 881–893, Valencia, Spain. Association for Computational Linguistics. 原文条目

• Martínez et al. (2022) Eric Martínez, Francis Mollica, and Edward Gibson. 2022. Poor writing, not specialized concepts, drives processing difficulty in legal language. Cognition, 224:105070. 原文条目

• Meister et al. (2021) Clara Meister, Tiago Pimentel, Patrick Haller, Lena Jäger, Ryan Cotterell, and Roger Levy. 2021. Revisiting the uniform information density hypothesis. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), pages 963–980. 原文条目

• Nakov and Hearst (2005) Preslav Nakov and Marti A. Hearst. 2005. Search engine statistics beyond the n-gram: Application to noun compound bracketing. In Proceedings of the Ninth Conference on Computational Natural Language Learning (CoNLL-2005), pages 17–24, Ann Arbor, Michigan. Association for Computational Linguistics. 原文条目

• NLLB Team (2024) NLLB Team. 2024. Scaling neural machine translation to 200 languages. Nature, 630(8018):841–846. 原文条目

• Oh and Linzen (2026) Byung-Doh Oh and Tal Linzen. 2026. To model human linguistic prediction, make LLMs less superhuman. Trends in Cognitive Sciences. 原文条目

• Oh and Schuler (2023) Byung-Doh Oh and William Schuler. 2023. Why does surprisal from larger transformer-based language models provide a poorer fit to human reading times? Transactions of the Association for Computational Linguistics, 11:336–350. 原文条目

• Oh et al. (2024) Byung-Doh Oh, Shisen Yue, and William Schuler. 2024. Frequency explains the inverse correlation of large language models’ size, training data amount, and surprisal’s fit to reading times. In Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2024), Volume 1: Long Papers, pages 2644–2663. 原文条目

• Ouyang et al. (2022) Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul F. Christiano, Jan Leike, and Ryan Lowe. 2022. Training language models to follow instructions with human feedback. In Advances in Neural Information Processing Systems 35 (NeurIPS 2022), volume 35, pages 27730–27744. Curran Associates, Inc. 原文条目

• Padmakumar and He (2024) Vishakh Padmakumar and He He. 2024. Does writing with language models reduce content diversity? In International Conference on Learning Representations. 原文条目

• Prabhumoye et al. (2018) Shrimai Prabhumoye, Yulia Tsvetkov, Ruslan Salakhutdinov, and Alan W Black. 2018. Style transfer through back-translation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 866–876, Melbourne, Australia. Association for Computational Linguistics. 原文条目

• Rabinovich et al. (2017) Ella Rabinovich, Raj Nath Patel, Shachar Mirkin, Lucia Specia, and Shuly Wintner. 2017. Personalized machine translation: Preserving original author traits. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 1074–1084, Valencia, Spain. Association for Computational Linguistics. 原文条目

• Reali and Christiansen (2007) Florencia Reali and Morten H. Christiansen. 2007. Processing of relative clauses is made easier by frequency of occurrence. Journal of Memory and Language, 57(1):1–23. 原文条目

• Reinhart et al. (2025) Alex Reinhart, Ben Markey, Michael Laudenbach, Kachatad Pantusen, Ronald Yurko, Gordon Weinberg, and David West Brown. 2025. Do LLMs write like humans? Variation in grammatical and rhetorical styles. Proceedings of the National Academy of Sciences, 122(8). 原文条目

• Ryan et al. (2024) Michael J. Ryan, William Held, and Diyi Yang. 2024. Unintended impacts of LLM alignment on global representation. In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 16121–16140. 原文条目

• Shao et al. (2024) Zhihong Shao, Peiyi Wang, Qihao Zhu, Runxin Xu, Junxiao Song, Xiao Bi, Haowei Zhang, Mingchuan Zhang, Y. K. Li, Y. Wu, and Daya Guo. 2024. DeepSeekMath: Pushing the limits of mathematical reasoning in open language models. Preprint, arXiv:2402.03300. 原文条目

• Singhal et al. (2024) Prasann Singhal, Tanya Goyal, Jiacheng Xu, and Greg Durrett. 2024. A long way to go: Investigating length correlations in RLHF. In First Conference on Language Modeling (COLM 2024). 原文条目

• Smith and Levy (2013) Nathaniel J. Smith and Roger Levy. 2013. The effect of word predictability on reading time is logarithmic. Cognition, 128(3):302–319. 原文条目

• Staub (2010) Adrian Staub. 2010. Eye movements and processing difficulty in object relative clauses. Cognition, 116(1):71–86. 原文条目

• Staub et al. (2007) Adrian Staub, Keith Rayner, Alexander Pollatsek, Jukka Hyönä, and Helen Majewski. 2007. The time course of plausibility effects on eye movements in reading: Evidence from noun-noun compounds. Journal of Experimental Psychology: Learning, Memory, and Cognition, 33(6):1162–1169. 原文条目

• Team Olmo et al. (2025) Team Olmo, Allyson Ettinger, Amanda Bertsch, Bailey Kuehl, et al. 2025. Olmo 3. Preprint, arXiv:2512.13961. 原文条目

• Temperley and Gildea (2018) David Temperley and Daniel Gildea. 2018. Minimizing syntactic dependency lengths: Typological/cognitive universal? Annual Review of Linguistics, 4(1):67–80. 原文条目

• Thierry et al. (2008) Guillaume Thierry, Clara D. Martin, Victorina Gonzalez-Diaz, Roozbeh Rezaie, Neil Roberts, and Philip M. Davis. 2008. Event-related potential characterisation of the Shakespearean functional shift in narrative sentence structure. NeuroImage, 40(2):923–931. 原文条目

• Trueswell et al. (1994) John C. Trueswell, Michael K. Tanenhaus, and Susan M. Garnsey. 1994. Semantic influences on parsing: Use of thematic role information in syntactic ambiguity resolution. Journal of Memory and Language, 33(3):285–318. 原文条目

• University of Waterloo (2026) University of Waterloo. 2026. Q and a with the experts: What is “Claudish”? University of Waterloo News. Accessed 2026-09-15. 原文条目

• Vanmassenhove et al. (2021) Eva Vanmassenhove, Dimitar Shterionov, and Matthew Gwilliam. 2021. Machine translationese: Effects of algorithmic bias on linguistic complexity in machine translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pages 2203–2213, Online. Association for Computational Linguistics. 原文条目

• Vanmassenhove et al. (2019) Eva Vanmassenhove, Dimitar Shterionov, and Andy Way. 2019. Lost in translation: Loss and decay of linguistic richness in machine translation. In Proceedings of Machine Translation Summit XVII: Research Track, pages 222–232, Dublin, Ireland. European Association for Machine Translation. 原文条目

• Vaswani et al. (2017) Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is All you Need. In Advances in Neural Information Processing Systems, volume 30. Curran Associates, Inc. 原文条目

• Wieting and Gimpel (2018) John Wieting and Kevin Gimpel. 2018. ParaNMT-50M: Pushing the limits of paraphrastic sentence embeddings with millions of machine translations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 451–462, Melbourne, Australia. Association for Computational Linguistics. 原文条目

• Xu et al. (2026) Weijie Xu, Brian Dillon, and Richard Futrell. 2026. Memory efficiency and resource-rational encoding in sentence processing. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33603–33618, San Diego, California, United States. Association for Computational Linguistics. 原文条目

• Yang et al. (2024) An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, et al. 2024. Qwen2.5 technical report. Preprint, arXiv:2412.15115. 原文条目

署名与许可#

原论文：Thomas Hikaru Clark、Matias B. Martin、Kyle Mahowald，2026，Why is AI-generated language so hard to understand?，arXiv:2610.29162v1，采用 CC BY 4.0 许可。

本站中文翻译由 AI 辅助完成，并依原文整理排版。译文保留作者论证中的推测和限制；英语例句、公式、书目信息和图内标签保留必要原文。原图沿用原作者署名与许可，图注已译为中文，图 8 的提示文字改为可复制文本。翻译与改编部分同以 CC BY 4.0 提供。文末的 AGENTS.md 规则是根据用户提供的写作建议与论文启发整理的实践文本，不应引用为论文已经验证的中文规范。