关联性——组内相关系数

1、作用

组内相关系数(ICC)是衡量和评价观察者间信度和复测信度的信度系数指标。通常可以用于问卷调查中评价一个对象对多个样本在一段时间的重测信度，或者判断一批对象对多个样本的一致性检验。

2、输入输出描述

输入：至少两项或以上的定量变量或有序的定类变量，一般要求数据为量表数据
输出：设计的问卷量表题目里各样本是否具有一致性

3、案例示例

5个评委对于同一批选手进行评分，测量其评分是否一致。或者测量复测信度，比如多次收集某个评委对100个参赛选手的评分（或同一批评委的评分平均值），测量其每次评分的相关度是否一致。

4、建模步骤

最先提出的 ICC 是改造的 Pearson 相关系数,假定 n 对数据(,),(i=1,2,…,n)ICC 与 Pearson 相关系数分别定义为: 

两个公式的区别在于均值和标准差的计算, r 中用的是 x1 和 x2 各自的均值和标准差, 而 ICC 中用的是 x1 和 x2 合并的均值和标准差。当每个被试者测量值较多时,ICC 近似等于

可以解释为组间变异占总变异的百分比。
目前有许多不同的 ICC 统计量，这些统计量并不估计相同的总体参数。选择恰当的 ICC 取决于以下三个方面,选择的模型是 one-way model 或 two-way model;采用 single measure 或 average measure;选择 absolute agreement 或 consistency。
​

1.选择 one-way model 或 two-way model?
(1)one-way radom effects model:单因素随机效应模型，当考虑个体效应随机时使用。每个被试者由不同的随机选择的评定者评分或所有被试者由一个评定者评分，用于检验每个被试的均值全部相等的假设，实际上并不能检验 x 的重测信度。若对被试者间的差异感兴趣，可选用该模型。
(2)two-way radom effects model:两因素随机效应模型，当个体效应和条目效应都是随机时选用。即所有效应互相独立。
(3)two-way mixed effects model:两因素混合效应模型，当个体效应随机，条目效应固定时选用。
(2)和(3)同时分解了行变量和列变量的影响，可以用来检验重测信度。二者的区别在于列变量即评定者效应是随机效应还是固定效应。若评定者来自所有可能的情况，统计推断也限于这些情况，则评定者效应是固定效应;若评定者是从一个理论上无限大的总体中随机抽样而来的样本，统计推断也要推广到该总体，则评定者效应是随机效应。不管列变量是固定效应还是随机效应，ICC 的计算结果均相同，不同之处是结果解释时(2)中的 ICC 可推广到所有可能的评定者，而(3)中的 ICC 仅限于给定的评定者。
​

2.选择 single measure 或 average measure?
single measure ICC 分析单元是每个评定者的评分，给出单个评定者评分的可靠性，若进一步研究时使用单个评定者评分，则采用此度量;average measure ICC 分析单元是 k 个评定者评分的均值，给出 k 个评定者评分的可靠性，如果研究设计使用每个条目多个评定者评分的均值时采用此度量。
​

3.选择 absolute agreement 或 consistency?
absolute agreement 和 consistency 定义的不同在分母。对 absolute agreement，由于考虑评定者系统误差，分母方差中保留了列方差即评定者方差，用于测量评定者是否给予被试者相同的绝对评分;对 consistency，由于不考虑评定者系统误差，分母方差中去掉列方差即评定者方差，用于测量评定者评分是否高度相关。

其中，MSR 为行变量均方；MSC 为列变量均方；MSW 为组内变异均方；MSE 误差均方。
一般认为信度系数低于 0.4 表示信度较差，大于 0.75 表示信度良好，对于定量资料常常需要更高的 ICC 值。