具有高階診斷能力的RUM模型性能評(píng)價(jià)研究.pdf

1、認(rèn)知診斷評(píng)估是一種基于認(rèn)知心理學(xué)并結(jié)合現(xiàn)代測(cè)量學(xué)的方法，旨在探索人類(lèi)在特定領(lǐng)域的潛在認(rèn)知過(guò)程和認(rèn)知結(jié)構(gòu)的測(cè)驗(yàn)形式。認(rèn)知診斷模型內(nèi)含一個(gè)簡(jiǎn)單或復(fù)雜的導(dǎo)入結(jié)構(gòu)，是概率性的、驗(yàn)證性的多維潛在變量模型。這種模型適用于對(duì)可觀(guān)察分類(lèi)反應(yīng)變量和不可觀(guān)察的（如，潛在的）分類(lèi)預(yù)測(cè)變量進(jìn)行建模。要實(shí)現(xiàn)認(rèn)知診斷的功能必須選擇一個(gè)合適的認(rèn)知診斷模型。在現(xiàn)有的上百種認(rèn)知診斷模型中，RUM模型被譽(yù)為一個(gè)成功的認(rèn)知診斷模型，因而被廣泛應(yīng)用。隨后不少心理測(cè)量學(xué)家以RU

2、M模型為基礎(chǔ)，對(duì)其進(jìn)行改良。其中HO-sRUM模型與RUM模型最為相似，兩者都對(duì)高階能力進(jìn)行了診斷。在這兩種模型中，最大的不同在于RUM模型的高階能力是基于項(xiàng)目，而HO-sRUM模型的高階能力是基于認(rèn)知屬性，顯然在認(rèn)知診斷測(cè)驗(yàn)中項(xiàng)目的個(gè)數(shù)明顯多于屬性的個(gè)數(shù)（一般為3倍左右）。因而使用RUM模型對(duì)認(rèn)知診斷測(cè)驗(yàn)進(jìn)行分析時(shí)會(huì)獲得比較詳盡的關(guān)于項(xiàng)目質(zhì)量的信息，但同時(shí)也會(huì)由于需要識(shí)別的參數(shù)過(guò)多而帶來(lái)識(shí)別困難。HO-sRUM模型雖然提供的項(xiàng)目質(zhì)量的

3、參數(shù)不如前者詳細(xì)，但由于模型較前者精簡(jiǎn)，因而在參數(shù)識(shí)別過(guò)程中較前者有優(yōu)勢(shì)。因此對(duì)于測(cè)驗(yàn)使用者如何去選擇一個(gè)合適的、性能好的、精度高的模型來(lái)服務(wù)于測(cè)驗(yàn)則是本研究想給予解答的問(wèn)題，為使用者提供模型選擇的依據(jù)。
　　 本研究通過(guò)模擬實(shí)驗(yàn)和實(shí)證實(shí)驗(yàn)對(duì)HO-sRUM模型和RUM模型性能進(jìn)評(píng)價(jià)。其中模擬實(shí)驗(yàn)包含三個(gè)子研究:(1) RUM模型與HO-sRUM模型性能評(píng)價(jià);(2) RUM模型與HO-sRUM模型容錯(cuò)性評(píng)價(jià);(3)(p)ci(θj

4、)參數(shù)一致性程度對(duì)HO-sRUM模型估計(jì)性能影響評(píng)價(jià)。實(shí)證研究則使用HO-sRUM模型和RUM模型對(duì)真實(shí)的數(shù)據(jù)進(jìn)行診斷，根據(jù)診斷的質(zhì)量評(píng)價(jià)兩個(gè)模型的性能。模擬研究部分分為三個(gè)子研究，在子研究一中RUM模型和HO-sRUM模型對(duì)其生成的數(shù)據(jù)進(jìn)行估計(jì)，其項(xiàng)目參數(shù)估計(jì)結(jié)果準(zhǔn)確性較高，質(zhì)量較好。但兩個(gè)模型對(duì)被試參數(shù)中的能力參數(shù)估計(jì)結(jié)果不如項(xiàng)目參數(shù)的理想，特別是RUM模型。在子研究二中將RUM模型和HO-sRUM模型獨(dú)立生成的數(shù)據(jù)交換模型進(jìn)行估計(jì)

5、，既可以判斷模型的容錯(cuò)性也可以佐證當(dāng)RUM模型演變成HO-sRUM模型時(shí)結(jié)構(gòu)的改變?yōu)槟Ｐ妥R(shí)別帶來(lái)什么樣的后果。其實(shí)驗(yàn)結(jié)果表明在RUM模型和HO-sRUM模型中當(dāng)生成模型與估計(jì)模型不一致的情況下，對(duì)模型的項(xiàng)目參數(shù)r*的估計(jì)影響較大，使其估計(jì)的精確性大大降低。而對(duì)另一項(xiàng)目參數(shù)π*、被試屬性掌握模式的邊際判準(zhǔn)率以及模式判準(zhǔn)率產(chǎn)生的影響不大，且兩個(gè)模型結(jié)構(gòu)穩(wěn)定。子研究三將從(p)ci(θj)結(jié)構(gòu)著手，探索(p)ci(θj)參數(shù)的一致性程度的高低

6、將為HO-sRUM模型的估計(jì)和識(shí)別帶來(lái)什么樣的影響。其結(jié)果顯示pci(θj)一致性程度高的樣本數(shù)據(jù)其使用HO-sRUM模型進(jìn)行診斷估計(jì)的結(jié)果良好，無(wú)論是項(xiàng)目參數(shù)還是被試參數(shù)都與真值十分接近，偏差甚小。而(p)ci(θj)一致性程度低的情況下項(xiàng)目參數(shù)r*的估計(jì)偏差相對(duì)較大。這就進(jìn)一步驗(yàn)證了(p)ci(θj)對(duì)模型估計(jì)產(chǎn)生了一定的影響，特別是對(duì)于項(xiàng)目參數(shù)r*的估計(jì)。這個(gè)結(jié)論與ci參數(shù)的估計(jì)會(huì)為RUM模型中其他項(xiàng)目參數(shù)的識(shí)別帶來(lái)困難這一結(jié)論相

7、吻合(Hartz，2002)。
　　 為了獲取對(duì)模型的評(píng)價(jià)更充分的理?yè)?jù)，實(shí)證研究部分使用RUM模型和HO-sRUM模型對(duì)實(shí)證的數(shù)據(jù)進(jìn)行分析，并從模型數(shù)據(jù)所估計(jì)項(xiàng)目參數(shù)和屬性掌握模式的劃分的可靠性和準(zhǔn)確性對(duì)RUM模型和HO-sRUM模型診斷結(jié)果進(jìn)行比較分析。研究的結(jié)果表明:1）對(duì)于RUM模型，在對(duì)無(wú)意義的項(xiàng)目參數(shù)進(jìn)行刪減后，模型的總判準(zhǔn)率、一致性系數(shù)、重測(cè)信度等都相應(yīng)增加，這意味著刪減無(wú)意義屬性后模型診斷的質(zhì)量有所提高。2）RUM

8、模型和HO-sRUM模型在對(duì)無(wú)意義屬性進(jìn)行刪減前后項(xiàng)目參數(shù)估計(jì)結(jié)果大致穩(wěn)定且一致。3）RUM模型的診斷中，大部分被試未能正確作答項(xiàng)目的原因是未掌握或掌握小于一般的作答項(xiàng)目所需要的項(xiàng)目屬性。4）將刪減部分屬性前后的RUM模型所估計(jì)的項(xiàng)目參數(shù)與HO-sRUM模型在刪減屬性前后的結(jié)果作比較，發(fā)現(xiàn)兩者的π*參數(shù)估計(jì)結(jié)果高度相關(guān)，而r*參數(shù)也存在顯著相關(guān)，但其相關(guān)程度不及π*參數(shù)顯著。5）在對(duì)RUM模型和HO-sRUM模型屬性掌握模式分類(lèi)一致性研