“全球醫(yī)學教育最基本要求”評估的統(tǒng)計方法探討.pdf

1、“全球醫(yī)學教育最基本要求”評估的統(tǒng)計方法探討背景2001年國際醫(yī)學教育組織(IIME)制定了“全球醫(yī)學教育最基本要求(GMER)”。2003年IIME對我國8所大學醫(yī)學院臨床醫(yī)學專業(yè)7年制畢業(yè)生進行了基線評估，采用多選題(MCQ)、客觀結構化臨床考試(OSCE)和教師觀察法(OBS)3種測評方法評估了GMER7個領域的能力。 目的利用一次性施測的標準參照測驗數(shù)據(jù)，分析GMER評估各測評方法(包括OSCE和OBS)的可靠性、分數(shù)線

2、決策可靠性和有效性，以及整套評估工具的有效性，為改進GMER評估設計和提高評估質量提供依據(jù)。 方法根據(jù)評估數(shù)據(jù)的特點，采用隨機單面交叉設計、隨機雙面交叉設計和含固定面交叉設計的概化理論分析OSCE中SP考站的可靠性及分數(shù)線決策可靠性；采用隨機雙面交叉設計、三面混雜設計的概化理論和三因子隨機雙面交叉設計的多元概化理論分析OBS的可靠性及分數(shù)線決策可靠性；采用傳統(tǒng)多質-多法(MTMM)矩陣分析和驗證性因子分析(CFA)分析整個GME

3、R評估的構念效度；采用一階和二階CFA分析OSCE的構念效度；采用CFA分析OBS的構念效度。 結果我校參加評估的臨床醫(yī)學專業(yè)7年制畢業(yè)生基本達到了GMER的標準。OSCE的SP考站可靠性不高，但各領域的分數(shù)線決策信度很滿意；OBS測評各個領域的分測驗和總的可靠性都不高，各領域的分數(shù)線決策信度也較低。整個GMER評估的構念效度不甚滿意，測評方法因素和特質(能力)因素都對結果產生了不可忽略的影響，且方法因素的影響大于能力因素的作用

4、；OSCE的構念效度較好，OBS具有很高的構念效度。 結論概化理論可用于解決經典測量理論下難以解決的標準參照測驗的可靠性和分數(shù)線的決策可靠性問題。GMER評估中OSCE的SP考站和OBS的可靠性有待提高。驗證性因子分析可以較好的通過定量分析實際觀測到的能力及其相互關系與預想的測量目標間的一致性。GMER評估總的構念效度有待提高，應降低測評方法對評估結果的影響。建議：①增加SP長考站為10個，短考站為5個，增加SP考站間的同質性，

5、以提高SP考站可靠性。②增加OBS觀察實習階段數(shù)為6，在難度相近、實習內容相近的科室進行臨床觀察，在同一科室(同一階段)內，由相同的幾位教師為不同學生評分，將有助于提高可靠性；對OBS各領域的分數(shù)標準制定加以改進。③在OBS中，著重探討“溝通技能”領域能力的測評條目，以提高可靠性；對教師觀察表中第13條“承認其他醫(yī)務人員的作用”作進一步說明。④加強對評分者的培訓，給被試學生熟悉測評方法的機會，從而降低測評方法對評估結果的影響。