基于多元概化理論的CET-SET信度分析.pdf

1、大學(xué)英語四六級口語考試(CET-SET)施考十幾年來，影響力日益擴(kuò)大，報考人數(shù)日益增加。但與之相關(guān)研究并不多。主觀性考試歷來被認(rèn)為在擁有高效度的同時，考試信度難以得到保證。那么該考試目前施考條件下，考試的信度如何值得關(guān)注。
　　 概化理論是經(jīng)典真分?jǐn)?shù)理論和方差分析結(jié)合的產(chǎn)物，它在估計各類考試，尤其是主觀性考試的施考信度情況方面有很強大的功能，通過對各個考察側(cè)面分?jǐn)?shù)誤差來源的估計，可以發(fā)現(xiàn)誤差的大小和來源，并在此基礎(chǔ)上估計更廣泛的

2、施考情況下考試的信度情況。多元概化理論是一元概化理論的推廣和發(fā)展，對由多個變量合成的測量目標(biāo)，可以提供各變量的分?jǐn)?shù)的相關(guān)性和各變量的信度指數(shù)，并最終通過合成的信度指數(shù)來考察考試的信度情況。
　　 本文在在多元概化理論的框架下，對2010年11月大學(xué)英語四六級口語考試(CET-SET)某考點的全部數(shù)據(jù)進(jìn)行實證分析，考察目前施考情況下，大學(xué)英語四六級口語考試的信度情況，并估計更廣泛的施考情況下，考試的信度變化情況。據(jù)此為考試決策者提

3、供改善施考條件的建議。
　　 本研究主要考察評分員側(cè)面，任務(wù)(話題)側(cè)面在三個評分變量維度的信度情況和合成信度情況，并考察三個評分變量的權(quán)重設(shè)置對合成信度的影響。
　　 研究的主要發(fā)現(xiàn)包括以下六個方面。第一，目前施考條件下，考試能等達(dá)到很高的信度；第二，三個評分變量維度上，大多數(shù)考場在概化系數(shù)和可靠性指數(shù)上顯示出了非常高的信度。相比較而言，語言準(zhǔn)確性和范圍維度變量信度最高，話語長短和連貫性維度變量次之，語言靈活性和適切性

4、最低；第三，隨著評分員數(shù)量的增加，所以考場的信度都呈遞增趨勢，考慮到實際情況，每考場設(shè)置三個評分員數(shù)量達(dá)到能保證較高的信度，且考試成本不會有大的增加，可以取得最大的效果。第四，三個評分維度的權(quán)重設(shè)置雖然有提高的空間，但各個考場存在著差異性使得較目前的三個維度6:5:4權(quán)重比例設(shè)置，沒有更好的替代選擇。第五，在考試任務(wù)(話題)側(cè)面，此次考試所采用的四個任務(wù)(話題)中，信度都在可接受的范圍內(nèi)，但與其他三個相比，第二個任務(wù)(話題)的信度指數(shù)較

5、差，在某些考場甚至合成概化系數(shù)和合成可靠性指數(shù)分別只有0.60330和0.52324，所以需對第二個任務(wù)(話題)深入分析，并防止在以后考試中采用類似的任務(wù)(話題)。
　　 除去依照所提出的五個研究問題而得到對應(yīng)的五個研發(fā)發(fā)現(xiàn)之外，本研究另外兩個還有另外兩個發(fā)現(xiàn)如下：一，三個評分維度側(cè)面超高的相關(guān)度結(jié)果表明，雖然表明了對三個評分側(cè)面進(jìn)行合成得到合成分?jǐn)?shù)具有合理性，但也顯示出了在評分過程中，很多評分員的評分具有明顯的“光環(huán)效應(yīng)”，這