計(jì)算機(jī)模擬病例考試的評價及難度研究.pdf

1、隨著現(xiàn)代醫(yī)學(xué)對醫(yī)生實(shí)踐能力要求的提高以及計(jì)算機(jī)技術(shù)的廣泛應(yīng)用，新的測量醫(yī)學(xué)生臨床實(shí)踐能力的考試形式，如客觀結(jié)構(gòu)化臨床考試(OSCE)和計(jì)算機(jī)模擬病例考試(CCS)逐漸得到各國醫(yī)學(xué)教育界的青睞。計(jì)算機(jī)模擬病例考試在醫(yī)學(xué)領(lǐng)域的研究和運(yùn)用開始于上世紀(jì)70年代，是由美國的NBME開發(fā)使用的。CCS由計(jì)算機(jī)提供逼真的診療環(huán)境、通過對患者疾病狀況的動態(tài)的、人機(jī)交互的模擬，來實(shí)現(xiàn)模擬臨床環(huán)境下醫(yī)生對模擬病人動態(tài)的、沒有暗示的診斷、治療和監(jiān)護(hù)的全過程。

2、病程的發(fā)展是通過模擬時間的推進(jìn)、以及考生的診療干預(yù)共同控制的。CCS的評分是利用計(jì)算機(jī)程序來完成的，CCS的評分思想是模擬專家思維進(jìn)行評分，通過比較考生與專家管理病人的思維差別，來為考生的表現(xiàn)打分。 該校從2001年以來開發(fā)的計(jì)算機(jī)模擬考試系統(tǒng)。經(jīng)過不斷地發(fā)展和完善，從2006年開始逐漸通過修改考試程序和評分程序，增加了診斷和鑒別診斷的檢索回答功能，逐步取消了人工參與的評分過程，使考試形式以及評分過程更加客觀，從而方便考生的答題

3、以及評分者評分。為了加大考生對這種考試形式的認(rèn)同度，利于在全國范圍推廣，通過重新編寫部分程序，CCS系統(tǒng)又增加了級聯(lián)菜單選擇錄入診療操作的功能，并已經(jīng)于2007年試點(diǎn)應(yīng)用在執(zhí)業(yè)醫(yī)師實(shí)踐技能考試中。 過去對CCS難度的研究主要是依據(jù)經(jīng)典測驗(yàn)理論進(jìn)行的，沒有進(jìn)一步深入進(jìn)行現(xiàn)代測驗(yàn)理論方面考試的分析和研究。2007年重點(diǎn)學(xué)習(xí)了項(xiàng)目反應(yīng)理論的有關(guān)知識，特別是理論模型較簡單，數(shù)學(xué)基礎(chǔ)堅(jiān)實(shí)，結(jié)果穩(wěn)定可靠的單參數(shù)Rasch模型，本次研究使用C

4、onquest 2.0軟件對大樣本的考試數(shù)據(jù)進(jìn)行分析和研究。 對象與方法： 本研究以參加畢業(yè)綜合考試的中國醫(yī)科大學(xué)2000、2001和2002級臨床醫(yī)學(xué)專業(yè)全部1141名學(xué)生為研究對象，其中2000級352名；2001級5年制學(xué)生206名，7年制學(xué)生59名；2002級5年制學(xué)生295名，7年制學(xué)生229名。考試時間5年制學(xué)生從每年4月中旬到下旬；7年制學(xué)生從每年9月上旬到中旬。 結(jié)果： 一、考試效度與信度

5、分析 (一)效度分析 1、效標(biāo)-關(guān)聯(lián)效度以標(biāo)準(zhǔn)化病人考試、第五學(xué)年理論綜合考試成績?yōu)樾?biāo)，2005年、2006年、2007年的五年制和七年制學(xué)生的計(jì)算機(jī)模擬病例考試與這兩種考試形式之間都存在中到低度并且具有顯著的統(tǒng)計(jì)學(xué)意義的相關(guān)。其中2005年的CCS考試成績與第五學(xué)年末理論綜合考試成績、2007年CCS考試成績與標(biāo)準(zhǔn)化病人考試成績相關(guān)系數(shù)稍大。 2、重測信度分析根據(jù)2007年五年制和七年制CCS考試實(shí)驗(yàn)設(shè)計(jì)，采

6、取人工干預(yù)和計(jì)算機(jī)隨機(jī)選題結(jié)合的方式從9個病例中抽取考試病例，保證了每個考生用兩種不同的答題方式回答同一個病例，所以可以通過兩種不同答題方式的結(jié)果相關(guān)分析來估計(jì)考試的重測信度，結(jié)果見表2，發(fā)現(xiàn)兩種答題方式的相關(guān)程度很高，相關(guān)系數(shù)都在0.7以上兩種答題方式的相關(guān)都具有顯著的統(tǒng)計(jì)學(xué)意義。 二、計(jì)算機(jī)模擬病例各評分項(xiàng)目難度分析 (一)計(jì)算機(jī)模擬病例考試考生能力與項(xiàng)目難度的分布情況項(xiàng)目信度為0.999，說明此病例分析具有良好信度

7、。 (二)計(jì)算機(jī)模擬病例診斷性輔助檢查題目難度分析 經(jīng)Rasch分析該病例診斷性輔助檢查題目的難度和擬合度，可以發(fā)現(xiàn)有的項(xiàng)目(Q22)難度偏高，難度值超過2，相應(yīng)地這些題目的擬合度較差，Q22的未加權(quán)擬合度的絕對值大于2。同時有的項(xiàng)目(Q03)難度偏低，甚至低于-3，其余的項(xiàng)目的難度和擬合度都較好。 (三)計(jì)算機(jī)模擬病例治療與監(jiān)護(hù)題目難度分析 經(jīng)Rasch分析其題目的難度和擬合度，可以發(fā)現(xiàn)有些項(xiàng)目難度偏高

8、，難度值甚至超過3，相應(yīng)地這些題目的擬合度較差，其中Q12、Q18、Q20和Q1的未加權(quán)擬合度的絕對值都大于2；同時有些項(xiàng)目難度偏低，甚至低于-3，其中Q24和Q27的的未加權(quán)擬合度的絕對值都大于2，而且Q27的標(biāo)準(zhǔn)誤較大，程序顯示該項(xiàng)目為強(qiáng)行估計(jì)值；其余的項(xiàng)目的擬合度較好。 (四)計(jì)算機(jī)模擬病例病史與檢體題目難度分析 經(jīng)Rasch分析該病例病史與檢體題目的難度和擬合度，可以發(fā)現(xiàn)項(xiàng)目Q1難度偏低，難度值接近-2，但此題目

9、的擬合度比較好。說明這是一道題目難度低但是試題質(zhì)量較好的題。 三、經(jīng)典測量理論與項(xiàng)目反映理論對計(jì)算機(jī)模擬病例項(xiàng)目難度的分析比較 大部分項(xiàng)目的區(qū)分度都在0.2以上，只有難度偏高和偏低的5道題目區(qū)分度較低，對07年畢業(yè)實(shí)踐技能考試的計(jì)算機(jī)模擬病例的難度分別用經(jīng)典測量理論和項(xiàng)目反應(yīng)理論進(jìn)行相關(guān)分析，相關(guān)系數(shù)為-0.986，存在高度的相關(guān)。 結(jié)論： 1、計(jì)算機(jī)模擬病例具有很好的表面效度和內(nèi)容效度，效標(biāo)關(guān)聯(lián)效度較好