什么是评分者信度

评分者信度（scorer reliability）是评估多个评分者对同一批答卷进行评分时评分一致性程度的指标。它衡量的是不同评分者给出相同或相似评分的可靠性，是心理测量学中重要的信度指标之一。

关键概念

评分者信度 ：衡量不同评分者对同一批答卷评分的一致性。

评分者内信度 ：评估同一个评分者对同一样本在不同场合给出相同分数的一致性。

评分者间信度 ：评估不同评分者对同一样本给出相同正确分数的一致性。

计算方法

两人评分 ：使用皮尔逊积差相关系数。

多人评分 ：使用肯德尔和谐系数。

样本量与评分者数量 ：

3~20个评分者，3~7个被评者：查W表检验。

被评者多于7个：可进行卡方检验。

应用场景

主观性测验 ：如投射测验、道德判断测验、创造性思维测验等，答案不固定，评分中包含主观判断。

客观性测验 ：答案具体固定，通常不需要考察评分者信度。

重要性

评分者信度是评估测验可靠性的重要因素，特别是在主观性评分任务中，评分者信度的高低直接影响到评分结果的可信度

其他小伙伴的相似问题：

如何计算评分者信度？

信度大于多少才可靠？

分半信度在评分中如何应用？