
一致程度一般用4级,这是为了避免选择中立答案。
比如,请专家对某个量表的条目与主题的相关性进行评价1=不相关,2=有点相关,3=比较相关,4=完全相关。
如果有N个专家,其中有A个专家评价为3或4,那么专家评价一致程度可以用内容效度指数来表示CVI=A/N。
后来有学者认为,专家评价相关或不相关各有50%的概率,于是引入了modified kappa coefficient of agreement beyond chance,有个公式可以计算这个kappa值,这个用来表达专家评价的一致程度。附件是一个中文介绍CVI,希望有帮助。其他问题可再问。