🎯 引言：从简单投票到复杂智慧的演变
随着多智能体大语言模型（LLM）推理技术的飞速发展，如何有效聚合多个LLM的回答已成为一个核心挑战。传统的多数投票（Majority Voting, MV）方法看似直观，却因将其视作零阶信息聚合而忽视了模型间的异质性与相关性。这种方法简单地统计票数，未能利用更高阶的信息，例如模型的预期准确率（一阶信息）或回答间的相关性（二阶信息）。本文提出一个引人入胜的问题：能否通过挖掘这些更高阶信息，设计出比多数投票更优的聚合策略？
想象一下，你正站在一个热闹的集市，周围的人都在猜测今天的天气。有人凭经验，有人靠直觉，但如果我们只听从“多数人”的意见，而不考虑每个人的预测能力或他们观点的相关性，可能会错失更准确的判断。类似地，LLM的聚合需要超越“人多势众”的逻辑，进入一个更精细的智慧领域。本文将带你探索两种新颖的聚合算法——Optimal Weight (OW) 和 Inverse Surprising Popularity (ISP)，它们分别利用一阶和二阶信息，旨在提升多智能体LLM的集体决策能力。
🌱 背景与动机：为什么需要超越多数投票？
多数投票在多智能体LLM推理中（如LLM辩论[Khan et al., 2024]或LLM理事会[Zhao et al., 2024]）被广泛采用，但其局限性显而易见。MV假设所有模型的回答权重相等，忽略了模型能力的差异。例如，一个训练精良的LLM可能比一个新手模型更可靠，但MV无法体现这一点。更进一步，模型间的相关性——比如多个模型因相似训练数据而倾向于给出相同错误答案——也被忽视了。
这种局限性在现实应用中尤为突出。试想在医疗健康场景（如ARMMAN数据集[Mate et al., 2022]）或学术基准（如UltraFeedback和MMLU）中，错误的集体决定可能导致严重后果。通过理论分析和实验验证，我们发现，OW和ISP在 mild assumptions 下能够显著缓解MV的固有缺陷，提供更可靠的决策支持。
🔍 理论框架：从一阶到二阶信息的聚合
🌟 利用一阶信息：Optimal Weight (OW) 算法
一阶信息指的是每个LLM的预期准确率 ( x_i = P[A_i = S^] )，其中 ( S^ ) 是问题的真实标签，( A_i ) 是第 ( i ) 个模型的预测。我们假设这些准确率已知，设计了OW算法，通过权重 ( \omega_i = \sigma_K^{-1}(x_i) )（其中 ( \sigma_K(x) = \frac{ex}{K-1 + ex} )）进行加权聚合。令人惊讶的是，这种看似简单的线性加权方法竟然是贝叶斯最优聚合器，即在给定联合分布 ( P ) 下，最大化后验概率 ( P(S^* = \cdot | A_1 = a_1, \ldots, A_N = a_N) ) 的预测。
注解: 贝叶斯最优意味着OW在利用一阶信息时，理论上能给出最接近真实答案的聚合结果。想象它像一个精明的裁判，根据每个“选手”的实力（准确率）分配分数，而不是盲目听从“人多”。
对于二分类问题（( K = 2 )），权重满足 ( \omega_i \propto \sigma^{-1}(x_i) )，这与广为人知的Bradley-Terry模型[Bradley and Terry, 1952]不谋而合，为LLM后训练提供了理论依据。然而，准确率的获取需要大量已知答案，成本高昂，这促使我们转向二阶信息。
🌠 利用二阶信息：Inverse Surprising Popularity (ISP) 算法
二阶信息捕捉模型预测间的相关性（如 ( P(A_j | A_i) )），无需知道真实标签即可通过多次查询估算。我们从Prelec et al. [2017]的Surprisingly Popular (SP)规则出发，但发现SP在LLM场景下表现不佳（理论上 ( E[Adv{MV}(s^)] \geq E[Adv{SP}(s^)] )）。原因在于，SP依赖人类群体中系统性偏见，而LLM因其强大能力，这种偏见较弱。
ISP则反其道而行，放大预测偏见。例如，在二分类中，ISP考虑模型在“反向”预测下的得分 ( S{ISP}(s, i) = \frac{1}{N-1} \sum{j \in [N] \setminus {i}} \frac{1}{K-1} \sum_{a \in S \setminus {a_j}} P(A_i = s | A_j = a) )。这种“反向惊喜”策略在实验中（如UltraFeedback和ARMMAN）表现出色，超越了MV。
注解: 想象ISP像一个侦探，逆向推理他人的“错误”预测，以发现隐藏的真相。它特别适合无标签数据场景，成本低且效果显著。
📊 实验验证：从合成到现实的跨越
我们通过合成数据集、标准基准（如UltraFeedback和MMLU）以及现实世界健康数据ARMMAN，验证了OW和ISP的表现。由于缺乏真实标签，OW无法直接应用，但通过二阶信息估算准确率后，OW+ISP组合在所有场景中均优于MV。这不仅展示了算法的实用性，也为设计鲁棒的多智能体LLM管道提供了新思路。
📚 参考文献
- Khan et al., 2024. Multi-agent LLM debate.
- Zhao et al., 2024. LLM council.
- Mate et al., 2022. ARMMAN dataset.
- Prelec et al., 2017. Surprisingly popular aggregation.
- Bradley and Terry, 1952. Bradley-Terry model.
