嵌套設(shè)計(jì)下的主觀題評(píng)分者效應(yīng)研究——基于多水平隨機(jī)系數(shù)模型.pdf

1、主觀評(píng)分是指評(píng)分者按照一定的評(píng)分標(biāo)準(zhǔn)對(duì)受評(píng)者的行為表現(xiàn)進(jìn)行評(píng)價(jià)打分的過程。在教育評(píng)價(jià)、人力資源選拔、競技體育、語言測試等領(lǐng)域，主觀評(píng)分已經(jīng)被廣泛應(yīng)用。如此一來，評(píng)分者整體效應(yīng)問題就成為心理測量和評(píng)價(jià)領(lǐng)域中的一個(gè)重要研究課題。多水平隨機(jī)系數(shù)模型(MRCM)結(jié)合線性回歸和歸因分層的思想來甄別具有嵌套結(jié)構(gòu)數(shù)據(jù)中可能存在的評(píng)分者效應(yīng)，尤其是評(píng)分者的寬大誤差效應(yīng)。多水平隨機(jī)系數(shù)模型(MRCM)不僅可以估計(jì)評(píng)分者層面的整體效應(yīng)，而且還可以估計(jì)評(píng)分者

2、自身因素對(duì)評(píng)分結(jié)果產(chǎn)生的影響。本研究包括三部分內(nèi)容:
　　首先，對(duì)284名大學(xué)教師經(jīng)過問卷調(diào)查的方式驗(yàn)證了評(píng)分者影響因素構(gòu)念的合理性，獲得一階四因子結(jié)構(gòu)，即評(píng)分者的責(zé)任心，情緒穩(wěn)定性，自信心和評(píng)分經(jīng)驗(yàn)。目的在于探索評(píng)分者的內(nèi)心潛在因素，建構(gòu)符合現(xiàn)實(shí)情況的評(píng)分者影響因素評(píng)價(jià)體系。
　　其次，本研究通過模擬研究的形式對(duì)嵌套設(shè)計(jì)下的主觀題評(píng)分者效應(yīng)進(jìn)行了研究。在模擬研究中，比較了評(píng)分結(jié)果是標(biāo)準(zhǔn)正態(tài)數(shù)據(jù)和上截尾數(shù)據(jù)時(shí)，評(píng)分者對(duì)評(píng)分結(jié)

3、果的影響機(jī)制。結(jié)果發(fā)現(xiàn)，使用多水平隨機(jī)系數(shù)模型(MRCM)對(duì)模擬數(shù)據(jù)進(jìn)行分析是合理且適當(dāng)?shù)?。在兩種數(shù)據(jù)形態(tài)下，評(píng)分者整體上都存在寬大效應(yīng)誤差，但是，當(dāng)評(píng)分結(jié)果是上截尾數(shù)據(jù)時(shí)，評(píng)分者水平的整體影響較大。另外，在兩種數(shù)據(jù)形態(tài)下，評(píng)分者水平的四個(gè)影響因素也都存在寬大效應(yīng)偏差。
　　最后，通過實(shí)證研究的形式對(duì)主觀題評(píng)分者效應(yīng)進(jìn)行了探討，以供實(shí)際應(yīng)用者參考。在實(shí)證研究中，用14名評(píng)分者對(duì)552名學(xué)生的某一道論述題進(jìn)行了評(píng)分，形成學(xué)生嵌套與評(píng)