大模子的记忆为止被突破了，变相杀青"无穷长"凹凸文。

最新后果，来自清华、厦大等搭伙建议的LLMxMapReduce 长本文分帧处理时期。

LLMxMapReduce 时期通过将长凹凸文切分为多个片断，不错让模子并行处理多个片断，并从不同片断中提真金不怕火关节信息，然后汇总成为最终的谜底。

尽头地，团队建议结构化通讯左券和凹凸文置信度校准机制，杀青对跨片断信息更灵验的处理。这项时期不错突破大模子的记忆为止，杀青凹凸文长度无穷踏实拓展。

LLMxMapReduce 时期可动作大模子的长文本上分心器——它对大模子长文本才调具有大宗增强作用，且在文本束缚加长的情况下，仍能保捏踏实性能、减少长文本的掉分情况。

比如合并了 LLMxMapReduce 框架之后的 Llama3-70B-Instruct x MapReduce 模子得分越过了包含 Kimi、GPT-4 在内的盛名闭源和开源模子以偏激他基于 Llama3-70B-Instruct 的分治方式（即 LongAgent 和 Chain-of-Agents）。

此外，LLMxMapReduce 框架展现出较强的通用性，合并 Qwen2-72B 和 MiniCPM3 也获取了优异的得益。

LLMxMapReduce 无穷长文本时期旨趣

在大数据规模，MapReduce 是一种散布式并行编程框架，具有横向彭胀的数据处理才调。受到 MapReduce 所体现的"分而治之"想想的启发，商议东说念主员估量打算了一种面向大模子的接受分治战略的长文本处理框架，称为 LLMxMapReduce。

通过将长凹凸文切分为多个片断，LLMxMapReduce 让模子并行处理多个片断，并从不同片断中提真金不怕火关节信息，然后汇总成为最终的谜底，从而杀青无穷长文本。这一时期对模子长文本才调具有大宗增强作用，且在文本束缚加长的情况下，仍能保捏踏实性能、减少长文本的掉分情况。

最近，也有一些同类型的分治式长文本处理方式，比如 LongAgent 和 Chain-of-Agents。比拟于模子一次处理完满长文档，这类分治式长文本处理既有上风，也有不及。

上风主要在于：长度可彭胀，不受限于模子本人的窗口大小，表面上不错援手即兴长度输入。

弱势主要在于：将一个完满的长文档切分为多个片断，可能会攻击跨片断的关节信息，导致模子左证某个片断"以文害辞"，产生非常论断。团队分析，会被切分片断影响的信息有两类：

跨片断依赖 （Inter-Chunk Dependency）：多个片断的信息相互依赖，详尽起来，才能产生一个完满的谜底。比如要记忆一个事件的时期端倪，需要从好多个片断中提真金不怕火关节的信息，才能酿成一个完满的时期线。

跨片断冲突 （Inter-Chunk Conflict）：多个片断的信息存在冲突，关于换取的问题，看不同的片断时可能得出不同的论断。比如要问一位导演一世最伟大的作品是什么，在看他后生时期片断时，得出的是后生时的最大设立，而在看老年时期的片断，又会得出不同的论断。

为了治理这两类问题，LLMxMapReduce 辞别估量打算了以下决议：

结构化通讯左券 （Structured Information Protocol）：针对用户的问题，模子在处理每个片断时，不是只是输出中间谜底，而是输出结构体，包含丰富的相干信息。在 Reduce 阶段，模子左证各个片断输出的结构化信息，汇总得出最终收尾。通过在 Map 和 Reduce 阶段的结构化通讯左券，但愿概况更好地处理跨片断依赖的问题，更好地得出详尽性谜底。

{ Extracted Information: XXX # 与问题相干的关节信息 Rationale: XXX # 得出中间收尾的推理过程 Answer: XXX # 左证面前片断的中间收尾 Confidence Score: XXX # 模子对面前片断的收尾的置信度，畛域为 1 到 5 之间 }

凹凸文置信度校准 （In-Context Confidence Calibration）：模子在 Reduce 阶段，会参考 Confidence 的值来汇总不同阶段的信息，高 Confidence 的收尾占据更多的主导权。为了让模子在处理不同片断时具有一致的置信度评估圭臬，通过凹凸文体习的方式让模子学会一个息争的置信度评估准则，让置信度信息愈加准确可靠，从而匡助模子在 Reduce 阶段更好的处理跨片断冲突问题。

LLMxMapReduce 方式的经过图如下所示：举座分为Map、Collapse和Reduce三个阶段。

领先要将长文本切分红多个小片断，这些片断不错并行处理，从而种植效能。

然后在 Map 阶段，使用大模子对每个片断进行分析，然后应用上文所述的结构化通讯左券，将提真金不怕火的信息整合成结构体方式，以便后续处理。

接下来，在 Collapse 阶段，如若通盘片断的收尾总长度逾越模子的最大处理为止，模子将多个结构体压缩为一个结构体，以减少凹凸文长度。在处理冲突信息时，模子会推敲置信度进行整合。

临了，在 Reduce 阶段，模子左证压缩后的信息汇总出最终的谜底。它会优先推敲置信度较高的收尾，从而确保得到的谜底准确无误。

通过以上使命经过，LLMxMapReduce 概况更灵验地处理长文本，幸免因切分导致的信息丢失或非常论断，从而种植最终收尾的准确性。

大模子长文本上分心器

为了考证 LLMxMapReduce 时期的灵验性，商议东说念主员在业内巨擘的长文本评测 InfiniteBench 榜单上对不同模子进行了评测，InfiniteBench 是一个详尽性榜单，最长长度逾越 2000k token。

商议东说念主员和好多方式进行了对比，其中对比的基线共有三类：

闭源模子：

包括 GPT-4、Claude 2、Kimi-Chat，其中 GPT-4 和 Claude 2 的得分参照 InfiniteBench 原文，Kimi-Chat 为重新测量的得分；

开源模子：

包括 YaRN-Mistral、Yi-6B-200K、Yi-34B-200K 和 Qwen2-72B-Instruct，其中 YaRN-Mistral、Yi-6B-200K、Yi-34B-200K 的得分参照 InfiniteBench 原文，Qwen2-72B-Instruct 是自行测量的得分；

其他基于分治的长文本处理框架：

包括 LongAgent 和 Chain-of-Agents。这两个分治框架的不同点在于处理跨片断信息的方式不同。

LongAgent 构建了一个 Leader Agent 来处理跨片断冲突。当不同的 Chunk 得出的谜底不同期，Leader Agent 会组织重新阅读冲突的片断，得出最终谜底。

这种重叠阅读的机制带来较大的时期支拨，况且 LongAgent 的通讯本色比较单一，Leader Agent 处理冲突的才调有限。比拟之下，LLMxMapReduce 的结构化通讯左券包含的信息更为丰富。

Chain-of-Agents 通过法例一一读取各个 Chunk 来阅读全文。

由于莫得显式地处理冲突信息，可能会导致后续 Chunk 的信息遮掩历史 Chunk 中的关节信息。比拟之下，LLMxMapReduce 诈欺校准后的置信度来更好的处理跨片断冲突。

具体履行收尾如下：

不错看到，合并 LLMxMapReduce 框架之后，Llama3-70B-Instruct x MapReduce 以 68.66 的最高对等分数，越过了闭源、开源模子以偏激他基于 Llama3-70B-Instruct 的分治战略（即 LongAgent 和 Chain-of-Agents）。

此外，LLMxMapReduce 框架展现出较强的通用性，合并 Qwen2-72B 和 MiniCPM3 也获取了优异的得益。

商议东说念主员相通分析凹凸文置信度校准和结构化通讯左券对框架性能的影响，在履行中冉冉将这两个机制移除。履行收尾显露，去除凹凸文置信度校准机制导致通盘任务的性能着落。如若莫得这两个机制，性能将会显贵着落。这些收尾评释注解了这两个机制在 LLMxMapReduce 框架中的关节作用。

100 万凹凸文大海捞针全绿

大海捞针（Needle-in-a-haystack ) 是一个在大模子规模粗造应用的测试，用于评估大谈话模子在处理长文本时识别特定事实的才调。为了评估 LLMxMapReduce 框架在处理极长文本方面的阐明，商议东说念主员将大海捞针测试的文本长度彭胀至 1280K 个 token。

测试收尾显露全绿：

履行收尾标明，接受 LLMxMapReduce 方式的 Llama3-70B-Instruct 概况灵验处理长度达到 1280K token 的序列，展示了该框架在处理超长序列时的超卓才调。

为了评估不同方式在处理长文本时的反映速率，商议东说念主员进行了一项速率履行，使用 20 个测试示例，每个示例包含 128K 个 token。履行收尾显露，因为更好地诈欺了分段并行，LLMxMapReduce 的处理速率比 128K 模子圭臬解码更快。

而且，由于结构化通讯左券和凹凸文置信度校准机制不影响框架的并行推理，比拟于 LongAgent 和 Chain-of-Agents 这两个同类型的分治框架，LLMxMapReduce 也具有彰着的速率上风。

论文集聚：https://arxiv.org/pdf/2410.09342

Github 集聚：https://github.com/thunlp/LLMxMapReduce

InfiniteBench：https://github.com/OpenBMB/InfiniteBench?tab=readme-ov-file

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿本色‍

附上论文 / 名堂主页集聚，以及酌量方式哦

咱们会（尽量）实时回答你

点这里� � 关爱我，铭刻标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日邂逅 ~