運用概化理論多側(cè)面模型分析CEPT口語考試的評分員信度.pdf

1、口語測試作為一種體現(xiàn)考生真實交際水平的測試手段是任何其他測試所不能達到的,因此,任何一個科學(xué)和理想的語言測試必須要包括口語測試。但由于口語考試自身的特點和評分的主觀性,使得口語考試的評分工作面臨著很多困難和挑戰(zhàn)。這其中就包括了很多由測量誤差所引起的評分信度不高的因素。
　　 概化理論作為一種現(xiàn)代測量理論,對口語評分信度的測量提出了全新的測量方法。首先在可觀測的全域之上,明確測量目標、測量側(cè)面及其相互關(guān)系。并在此基礎(chǔ)上設(shè)計出交叉設(shè)

2、計、嵌套設(shè)計和混合設(shè)計。其次,運用實驗設(shè)計和方差分析的方法對實驗數(shù)據(jù)進行分析,估計出各種變異來源對分數(shù)總變異所做的貢獻,這也就是概化研究的過程。在決策研究階段,通過修改不同的測量側(cè)面、樣本容量和測量結(jié)構(gòu)等以達到試驗設(shè)計人員想要的目的。
　　 本文正是運用概化理論對湖南大學(xué)英語分級考試中口語考試部分評分員信度問題所做出的研究。通過分析,本研究得出以下結(jié)論:
　　 1)本次口語考試評分員的整體信度很高。但也顯示出了較顯著的嚴

3、厲度的差異。其中,3號評分員的嚴厲度水平是最低的。5號和6號評分員顯示出了高度的評分一致性。并且,整個口語試題的難度適中,區(qū)分度也較理想。
　　 2)通過對不同測量條件下試題側(cè)面的決策研究,估計出當試題側(cè)面達到6個時,G系數(shù)達到了更高的信度水平。
　　 3)在決策研究中,分別估計出了評分員從1到10個范圍內(nèi)信度指標的變化情況。研究得出了在不同試題側(cè)面條件下,多少個評分員就可以達到比較高的信度值。
　　 4)通過對

4、不同測量側(cè)面的調(diào)整和估計,研究得出了最優(yōu)化的設(shè)計方案。即,當試題側(cè)面為6,評分員側(cè)面為4時,即可達到仞始設(shè)計時的高信度水平。
　　 本文的研究首先體現(xiàn)在首次對湖南大學(xué)英語分級考試口語部分的整體評估和評分員信度分析,因此具有十分重要的意義,并為其進一步發(fā)展和完善提供了實證依據(jù)。研究結(jié)果指出了口語測試部分現(xiàn)存的問題并提出了修改建議,并顯示出了不同評分員的內(nèi)部一致性水平差異,對甄選合格的評分員提供了參考。另外,本研究中采用概化理論來檢