客觀結(jié)構(gòu)化臨床考試中標(biāo)準(zhǔn)化病人評(píng)分效應(yīng)的初步研究.pdf

1、客觀結(jié)構(gòu)化臨床考試（Obiective Structured Clinical Examination，OSCE）是目前國(guó)際公認(rèn)的評(píng)價(jià)臨床能力最好的方法，被國(guó)內(nèi)外很多醫(yī)學(xué)院校廣泛的用于臨床能力的評(píng)估，一些國(guó)家將其應(yīng)用于醫(yī)師資格準(zhǔn)入考試中。
　　 OSCE包括標(biāo)準(zhǔn)化病人（Standardized Patients，SP）考站，其信度和效度受由其組成部分（病例、標(biāo)準(zhǔn)化病人、評(píng)價(jià)量表等）所引起的多種潛在測(cè)量誤差的影響，包括不適當(dāng)?shù)牟±?/p>

2、內(nèi)容，SP在病例中不準(zhǔn)確、不穩(wěn)定的模擬及SP作為評(píng)分者引起的各種評(píng)分者誤差（Rater Effect）等。
　　 評(píng)分者效應(yīng)，又稱評(píng)分者誤差（Rater Error），是評(píng)分者在使用評(píng)價(jià)量表進(jìn)行測(cè)評(píng)時(shí)所產(chǎn)生的誤差，包括評(píng)分者寬容效應(yīng)、評(píng)分者不一致性以及評(píng)分者偏差等。
　　 隨著OSCE的廣泛應(yīng)用，越來(lái)越多的學(xué)者嘗試運(yùn)用現(xiàn)代教育測(cè)量學(xué)的方法，分析影響OSCE的潛在測(cè)量誤差。項(xiàng)目反應(yīng)理論中的多面Rasch模型（Many Fa

3、cets Rasch Model，MFRM）能夠?qū)?biāo)準(zhǔn)化病人側(cè)面、考生側(cè)面、題目側(cè)面進(jìn)行分析，剔除評(píng)分過(guò)程中的主觀因素，在主觀評(píng)分的客觀化分析中具有廣泛的應(yīng)用前景。
　　 本研究擬將多面Rasch模型引入OSCE中，將考生、標(biāo)準(zhǔn)化病人，題目難度作為側(cè)面，估計(jì)考生臨床能力，分析標(biāo)準(zhǔn)化病人評(píng)分的評(píng)分員誤差以及評(píng)價(jià)量表的應(yīng)用情況等，為OSCE原始成績(jī)的應(yīng)用、標(biāo)準(zhǔn)化病人的培訓(xùn)、評(píng)價(jià)量表的使用、OSCE的質(zhì)量控制提供科學(xué)依據(jù)。
　　

4、 資料來(lái)源與研究方法：
　　 本研究以參加中國(guó)醫(yī)科大學(xué)2009屆五年制本科臨床醫(yī)學(xué)專業(yè)畢業(yè)考試中客觀結(jié)構(gòu)化臨床考試評(píng)價(jià)的標(biāo)準(zhǔn)化病人為研究對(duì)象，并且參加此次考試的考生同為研究對(duì)象?？荚囉?009年5月11日至5月22日在中國(guó)醫(yī)科大學(xué)附屬第一醫(yī)院臨床技能培訓(xùn)中心進(jìn)行。參加評(píng)價(jià)的標(biāo)準(zhǔn)化病人共23人，其中男7人，女16人；參加考試的五年制臨床醫(yī)學(xué)本科畢業(yè)生共352人，其中男154人，女198人。運(yùn)用FACETS3.64.0編寫(xiě)語(yǔ)句創(chuàng)建

5、多面Rasch模型，對(duì)考試數(shù)據(jù)進(jìn)行分析。
　　 結(jié)果：
　　 一、數(shù)據(jù)與模型擬合度
　　 數(shù)據(jù)與模型擬合較好。
　　 二、MFRM總體分析結(jié)果
　　 最嚴(yán)格的標(biāo)準(zhǔn)化病人為SP21，最寬松的標(biāo)準(zhǔn)化病人為SP27；交流能力測(cè)試題最難的題目為第9題是否解釋做體格檢查的原因，明確解釋發(fā)現(xiàn)的體征及得出的結(jié)論，最簡(jiǎn)單的題目為第1、2題，考生是否友好的與標(biāo)準(zhǔn)化病人交流，以及是否有禮貌的對(duì)待標(biāo)準(zhǔn)化病人。
　

6、　 三、對(duì)標(biāo)準(zhǔn)化病人側(cè)面的分析
　　 （一）標(biāo)準(zhǔn)化病人評(píng)分寬嚴(yán)程度的MFRM分析結(jié)果
　　 SP21的寬嚴(yán)程度值是0.74 logits（SE=0.03），是最嚴(yán)格的標(biāo)準(zhǔn)化病人，SP27的寬嚴(yán)程度值是-1.35logits（SE=0.04），是最寬松的標(biāo)準(zhǔn)化病人。標(biāo)準(zhǔn)化病人之間在寬嚴(yán)程度上存在很大差異。OSCE的管理者可以根據(jù)準(zhǔn)化病人評(píng)分的寬嚴(yán)特點(diǎn)安排標(biāo)準(zhǔn)化病人的分組，將寬松的標(biāo)準(zhǔn)化病人與嚴(yán)格的標(biāo)準(zhǔn)化病人安排到同一組，

7、以均衡標(biāo)準(zhǔn)化病人的寬嚴(yán)程度，減少其對(duì)考生原始成績(jī)的影響，使得原始分?jǐn)?shù)更接近于考生的真實(shí)值。
　　 （二）標(biāo)準(zhǔn)化病人評(píng)分整體自身一致性的MFRM分析結(jié)果
　　 23個(gè)標(biāo)準(zhǔn)化病人infit值域?yàn)?.5～4.16，其中SP10、SP33、SP31的infit值分別為4.16、1.9、1.52，infit值大于1.5，屬于自身一致性較差的標(biāo)準(zhǔn)化病人：SP24、SP8、SP15的infit值等于0.5屬于自身過(guò)于一致的標(biāo)準(zhǔn)化病人；

8、其他標(biāo)準(zhǔn)化病人infit值均在0.5～1.5之間，自身一致性較好。
　　 1、評(píng)分自身一致性較差的標(biāo)準(zhǔn)化病人
　　 以SP10和SP33為例，根據(jù)FACETS提供的misfitting評(píng)分表進(jìn)一步了解評(píng)分不一致的根源，即SP10、SP33究竟是在對(duì)哪個(gè)考生的哪道題目評(píng)分時(shí)出現(xiàn)了哪種性質(zhì)的不一致的評(píng)定結(jié)果。
　　 （1）標(biāo)準(zhǔn)化病人10。SP10在對(duì)題目4評(píng)分時(shí)，給出超過(guò)模型預(yù)期值兩個(gè)標(biāo)準(zhǔn)差以外的異常分?jǐn)?shù)40個(gè)，在評(píng)

9、價(jià)題目8時(shí)，給出超過(guò)模型預(yù)期值兩個(gè)標(biāo)準(zhǔn)差以外的異常分?jǐn)?shù)36個(gè)。由此可推斷SP10對(duì)評(píng)價(jià)量表第4題和第8題的理解不好，不能應(yīng)用此題目準(zhǔn)確的評(píng)價(jià)考生的能力，為考試的準(zhǔn)確性帶來(lái)了影響。
　　 （2）標(biāo)準(zhǔn)化病人33。例如，SP33在對(duì)259號(hào)考生第10題的表現(xiàn)評(píng)分時(shí)，給出了0分，但是按照該標(biāo)準(zhǔn)化病人自身的寬嚴(yán)程度，對(duì)于這個(gè)能力水平的考生，模型期望SP33對(duì)此考生此題目評(píng)分2.7分，實(shí)際評(píng)分與模型期望分之間偏離了3.6個(gè)標(biāo)準(zhǔn)差，屬于一個(gè)異

10、常的評(píng)分結(jié)果。
　　 2、評(píng)分過(guò)于一致的標(biāo)準(zhǔn)化病人
　　 標(biāo)準(zhǔn)化病人24，8，15的infit值均為0.5，均評(píng)價(jià)了90名考生，但是三位標(biāo)準(zhǔn)化病人很少使用等級(jí)0和等級(jí)4，大部分評(píng)定使用等級(jí)1，2，3，呈現(xiàn)了趨中效應(yīng)。
　　 四、對(duì)考生側(cè)面的分析
　　 352名考生的交流能力估計(jì)值范圍為：-1.1～1.13 logits，全距為2.24 logits，其中能力最高的考生為156號(hào)，能力值為1.1 logit

11、s（SE=0.17），能力最低的考生為268號(hào)，能力值為-1.13 logits（SE=0.13）。以標(biāo)準(zhǔn)化病人評(píng)分較為一致的146號(hào)考生以及標(biāo)準(zhǔn)化病人評(píng)分爭(zhēng)議性最大的121號(hào)考生為例，對(duì)121號(hào)考生評(píng)價(jià)的6個(gè)標(biāo)準(zhǔn)化病人中，有5位偏差分為負(fù)數(shù)。
　　 五、對(duì)題目側(cè)面的分析
　　 交流能力測(cè)試題最難的題目為第9題是否解釋做體格檢查的原因，明確解釋發(fā)現(xiàn)的體征及得出的結(jié)論，最簡(jiǎn)單的題目為第1、2題，考生是否友好的與標(biāo)準(zhǔn)化病人交

12、流，以及是否有禮貌的對(duì)待標(biāo)準(zhǔn)化病人。
　　 結(jié)論：
　　 1.總體來(lái)說(shuō)，本次考試難度適中，RUCIS量表適合評(píng)價(jià)本研究中臨床醫(yī)學(xué)本科畢業(yè)生交流能力。
　　 2.標(biāo)準(zhǔn)化病人評(píng)分寬嚴(yán)程度差別較大?？梢愿鶕?jù)標(biāo)準(zhǔn)化病人的寬嚴(yán)程度考慮將較為嚴(yán)格的標(biāo)準(zhǔn)化病人與較為寬松的標(biāo)準(zhǔn)化病人搭配在同一個(gè)考試組以增加考試的公平性。
　　 3.個(gè)別標(biāo)準(zhǔn)化病人需加強(qiáng)其在評(píng)分等級(jí)以及評(píng)價(jià)量表中個(gè)別題目的理解上的訓(xùn)練。
　　 4.