Content
心理测量学中，项目区分度指一道题区分高能力与低能力受试者的程度，常用指标是高分组与低分组答对率之差（区分度指数 D，经典做法取高低各 27% 分组）或点二列相关[1][2]。所有人都答对（天花板效应）或都答错的题区分度为零，不提供测量信息[1][3]。迁移到 LLM 评测：基线模型就能做对的题测不出改动的差别，基线饱和时正确的处理是重新设计题面，而不是判候选无效。
Acceptance
“Item discrimination indicates the extent to which success on an item corresponds to success on the whole test.”[1]
区分度指数 D 的判读惯例（D ≥ 0.4 为好题、< 0.2 为低区分度）出自 Ebel[2]；点二列相关的口径见[3]。
Question
- 区分度为零的题应该删掉，还是留着测「不退化」？
- benchmark saturation（基准被刷满）与单题区分度为零是什么关系？
- 同一道题的区分度会随被测群体的水平分布变化吗？
See Also
Answer
区分度为零的题应该删掉，还是留着测「不退化」？
看目的。区分度为零的题没有测量价值，但「人人答对」的天花板题可以留作回归用例——它不区分优劣，只负责在退化时报警；只是别把它计入区分度的证据。
benchmark saturation（基准被刷满）与单题区分度为零是什么关系？
饱和是区分度问题的聚合形态：基准里足够多的题区分度归零，整个基准就失去排名能力。但饱和还有另一层诱因——模型可能见过题（数据污染），所以饱和先查诱因，再决定换题还是换基准。
同一道题的区分度会随被测群体的水平分布变化吗？
会。区分度指数依赖高低分组的对照，群体整体变强后原题的天花板比例上升、区分度下降——这正是 LLM 基准一两年就饱和的机制之一。IRT 的区分度参数理论上不依赖群体，实践中仍受样本影响。
- Rasch Measurement Transactions 16:3，Item Discrimination Indices，2026 年 9 月 24 日访问。 ↩ ↩2 ↩3
- R. L. Ebel，“Procedures for the Analysis of Classroom Tests”，《Educational and Psychological Measurement》14 卷，352–364 页，1954。 ↩ ↩2
- University of Washington 测评办公室，Understanding Item Analyses，2026 年 9 月 24 日访问。 ↩ ↩2