允許檢查并修改答案的CAT研究.pdf

1、過去的十年里，計算機化白適應測驗(CAT)已經(jīng)取代紙筆測驗(P&P)成為許多大規(guī)模標準化測驗的考試形式。目前，許多CAT測驗的研究與應用存在著局限性，因為大多數(shù)的CAT不允許被試檢查并修改答案。對被試來說，不允許返回檢查并修改答案會給他們帶來測驗壓力并影響其表現(xiàn)；對CAT考試機構來說，不允許被試檢查并修改答案主要是擔心：被試在檢查修改階段通過使用Wainer策略獲得正偏的能力估計值，影響測驗的公平性、公正性和準確性。如果能夠提供這樣一種

2、解決方案，既允許被試檢查并修改答案，又能夠?qū)Ω禬ainer策略，其意義是不言而喻的。目前關于這方面的研究，國內(nèi)刊物未見報導，國外研究也不多。相關研究存在的問題是，研究者僅僅記錄修改后的答案并僅根據(jù)該記錄評分，而對修改前的作答信息不予考慮。本文在對允許檢查并修改答案的CAT進行研究的基礎上，提出新的評分方式(式中符號見本文用到的主要符號說明)：Vaj=Uaj×Beta+Ua，f+m×11一Beta)綜合考慮修改前后的作答信息，并根據(jù)相應估

3、計試圖對付Wainer策略。 本文實驗一采用MonteCarlo方法自編計算機程序模擬允許檢查并修改答案的CAT，以考察不同的Beta值對能力估計的影響。研究結果表明：(1)相對于只考慮被試在自適應階段的作答信息(Beta=1)或只考慮被試在檢查修改階段的作答信息(Beta=0)，綜合考慮被試的兩次作答信息能夠產(chǎn)生更加精確的能力估計值，尤其以Beta=O．5時能力估計的修復能力最強；(2)大部分的被試進行了修改；只有少部分的答案

4、被修改；在被修改的答案中，大部分的答案是由錯誤改為正確，少部分的答案是由正確改為錯誤。實驗二通過模擬測驗數(shù)據(jù)，在評價Wainer策略有效性的基礎上，試圖采用新的評分方式對付Wainer策略。模擬結果表明：(1)在新的評分方式下，WainerStrategyCAT產(chǎn)生的能力估計值與能力真值存在著非常大的偏差，而且偏差隨能力真值的增加而增加，并不能有效地對付Wainer策略；(2)當Beta：0時，綜合WainerStrategyCAT的E