Content

LLM-as-a-judge 场景中的一种偏差：大模型当裁判时会给自己生成的输出打更高的分，即使人类标注者认为质量相当^[1]。Panickssery 等（2024）以 GPT-4、GPT-3.5 和 Llama 2 为受测裁判的实验显示它们都表现出这种偏差，且模型能在一定程度上认出自己的输出，认出程度与偏好程度线性相关^[1]。工程结论：裁判模型不能出现在被测模型之中。

Acceptance

“One such bias is self-preference, where an LLM evaluator scores its own outputs higher than others’ while human annotators consider them of equal quality.”^[1]

Question

• 自偏好来自「认出了自己的输出」，还是认出之外的自信心态？
• 裁判与被测模型同厂商不同代，算不算自偏好？
• 让裁判做配对比较而不是打分，能消除自偏好吗？

See Also

项目区分度
LGTM

Answer

自偏好来自「认出了自己的输出」，还是认出之外的自信心态？

论文证据偏向前者：偏好幅度与模型认出自家输出的能力线性相关，打乱风格线索后偏好减弱^[1]。但「认出」是不是唯一通道没有定论，也可能存在认出之外的先验偏爱。

裁判与被测模型同厂商不同代，算不算自偏好？

文献没有直接答案。自偏好的机制是「认出自己」，同厂商不同代的输出分布相似，可能部分触发同一机制；保守做法是当作潜在自偏好处理，裁判与被测尽量不共享厂商。

让裁判做配对比较而不是打分，能消除自偏好吗？

不能消除，只能压缩。配对比较下模型仍可能认出自己的输出并偏好它——论文的测量用的正是配对设定，偏差依然存在^[1]；可行的是叠加防护：隐去来源、打乱顺序、换模型家族。

1. Arjun Panickssery、Samuel R. Bowman、Shi Feng，LLM Evaluators Recognize and Favor Their Own Generations，arXiv:2404.13076，2024。 ↩ ↩² ↩³ ↩⁴ ↩⁵