隨機(jī)對照試驗統(tǒng)計學(xué)項目自查清單與評價量表的研制與考核.pdf

1、本文希望集合國內(nèi)多學(xué)科專家研制出適合國內(nèi)應(yīng)用的醫(yī)學(xué)論文(主要是針對隨機(jī)對照研究，randomizedcontrolledtrial，RCT)的統(tǒng)計學(xué)報告自查清單，然后在此基礎(chǔ)上研制出醫(yī)學(xué)論文統(tǒng)計學(xué)報告質(zhì)量的評價量表，并對評價量表進(jìn)行效度和信度的考核。 研究資料與方法：充分復(fù)習(xí)了國內(nèi)外可獲得的醫(yī)學(xué)期刊、碩士論文、專著、行業(yè)標(biāo)準(zhǔn)、網(wǎng)絡(luò)資料等方面的關(guān)于統(tǒng)計學(xué)誤用、統(tǒng)計學(xué)報告等方面的文獻(xiàn)，整理成RCT論文統(tǒng)計學(xué)相關(guān)項目必要性調(diào)查表(草案

2、)，對流行病學(xué)專家19人、統(tǒng)計學(xué)專家18人、關(guān)心醫(yī)學(xué)論文統(tǒng)計學(xué)誤用的專家18人、臨床研究專家19人，共74人進(jìn)行了共兩輪調(diào)查。依第二輪調(diào)查的結(jié)果，將項目平均分＞3分的所有項目保留作為“醫(yī)學(xué)論文統(tǒng)計學(xué)報告自查清單”。按第二輪調(diào)查項目總得分及較多專家認(rèn)為“必要”(評分＞=3分)的標(biāo)準(zhǔn)篩選出約30項作為醫(yī)學(xué)論文統(tǒng)計學(xué)報告質(zhì)量評價量表(初表)。將評價量表(初表)應(yīng)用于國外統(tǒng)計學(xué)應(yīng)用較好的醫(yī)學(xué)雜志、國內(nèi)統(tǒng)計學(xué)應(yīng)用較好和較差的醫(yī)學(xué)雜志各1種，以初步

3、考核評價量表(初表)的效度以及不同人之間和不同時間之間的量表的一致性。若評價量表(初表)有效，然后將其擴(kuò)大應(yīng)用于一般醫(yī)學(xué)論文，記錄評價過程中遇到的實際問題，以便完善量表(初表)的表達(dá)。將應(yīng)用評價結(jié)果當(dāng)中方差較小的項目舍棄，形成評價量表(終表)。對評價量表(終表)的效度和信度再行評價，依樣本量計算，選出以上三級雜志各2種，分層隨機(jī)抽樣選中近5年共54篇文獻(xiàn)，應(yīng)用評價量表(終表)，比較不同評分者評分的均數(shù)、比較不同級別雜志得分的均數(shù)和所費(fèi)時

4、間。調(diào)查資料輸入MicrosoftExcel，評價量表的應(yīng)用與評價數(shù)據(jù)輸入SPSS13.0，以配對t檢驗和Pearson相關(guān)系數(shù)分析評價量表的信度，以單因素方差分析比較不同級別雜志得分的均數(shù)以考察評價量表的效度。按方差最小的原則舍棄評價量表(初表)中的項目以精簡成評價量表(終表)。 主要研究結(jié)果：文獻(xiàn)的復(fù)習(xí)和首次調(diào)查表(草案)的起草2005年9月前完成，共解析出RCT相關(guān)統(tǒng)計學(xué)表達(dá)項目125條，分布于論文的題目到討論部分。200

5、5年9月-2006年3月完成第一和第二輪調(diào)查及評價量表(初表與終表)的預(yù)試驗、信度效度評價和應(yīng)用性評價。 第一輪調(diào)查發(fā)出74份，回復(fù)41份，有效40份，補(bǔ)充3位臨床研究專家后共得有效問卷43份。流行病學(xué)家、統(tǒng)計學(xué)家、關(guān)心統(tǒng)計誤用者及臨床研究者四類人員中回復(fù)數(shù)構(gòu)成和未回復(fù)數(shù)構(gòu)成經(jīng)精確概率法檢驗，P=0.756和P=0.315，可認(rèn)為構(gòu)成沒有差異。四類人員回復(fù)的項目總分比較，流行病學(xué)專家評分較高(155±49)，其余各組均數(shù)為130

6、-138間，但經(jīng)方差分析，P=0.395，可認(rèn)為多組間均數(shù)沒有差異。將第一輪調(diào)查的回復(fù)問卷分為先回復(fù)和后回復(fù)兩組比較，結(jié)果先后回復(fù)者總分的均數(shù)與標(biāo)準(zhǔn)差分別為146.8±42.9和133.1±42.4分，但經(jīng)t檢驗雙側(cè)P=0.294，秩和檢驗P=0.382，可認(rèn)為兩組沒有差別。將80％以上專家認(rèn)為“必要”的項目篩選出來，歸并相關(guān)項目整理后，共得到60項，含專家補(bǔ)充的1項。第二輪調(diào)查回復(fù)47份，全部有效，四類人員構(gòu)成檢驗P=0.466。第二

7、輪調(diào)查結(jié)果，除第一輪由專家補(bǔ)充的1項外，第一輪篩選出的全部項目算術(shù)均分＞3分(必要分)。 第二輪調(diào)查后，除補(bǔ)充項目外其余59項全部入選為自查項目清單。另因符號與術(shù)語項包含內(nèi)容較多，細(xì)分為3項，實際清單共62項，含摘要部分8項、引言2項、方法20項、結(jié)果25項、討論6項。 將自查清單的項目舍去摘要的項目，按項目得分總分以及認(rèn)為“必要”的專家人數(shù)兩種方法從高到低排序，未見明顯分界線，按預(yù)計項目30項左右得到總分前28名，認(rèn)為

8、必要人數(shù)前30名，共35項作為評價量表(初表)?？己嗽u價量表(初表)時，將兩評價者兩次的評分及研究者復(fù)核的評分平均，以平均分為方差分析依據(jù)，結(jié)果三級別雜志得分均數(shù)分別為41.5±0.3，30.7±1.5，24.1±3.6，單因素方差分析P＜0.001，在0.05的水平下，SNK檢驗?zāi)軆蓛蓞^(qū)分出來。不同人之間評分的比較，不論是將兩次評價的結(jié)果當(dāng)成獨(dú)立樣本還是將其平均，rP＞0.87、P＜0.001，但配對t檢驗結(jié)果P＜0.001，可見雖然

9、不同人對同批論文評價的相關(guān)性較大，但并不一致。不同時間評分的比較，兩種取值方法rP＞0.88，P＜=0.001，t檢驗結(jié)果P＞0.67，說明不同時間評價的一致性較好。評價量表(初表)的應(yīng)用結(jié)果發(fā)現(xiàn)，英文雜志得分較高(38.7±4.4分)，而中華醫(yī)學(xué)系列雜志與非中華醫(yī)學(xué)系列雜志得分類似(26.0±6.3分和26.0±7.1分)，SNK檢驗僅能將其分為兩組，可見統(tǒng)計學(xué)報告質(zhì)量與內(nèi)容質(zhì)量并不一致。評價量表(初表)35項中，約有一半的項目(17

10、項)英文得分皆高于中文，僅有1項中文高于外文，其余項目無統(tǒng)計學(xué)差異。 將應(yīng)用結(jié)果當(dāng)中的項目總方差、標(biāo)準(zhǔn)化方差和中文文獻(xiàn)的方差結(jié)合起來，以兩項以上方差皆排在后10位為標(biāo)準(zhǔn)，精簡后變成了27項的評價量表(終表)，并依應(yīng)用結(jié)果記錄的問題對表達(dá)進(jìn)行了完善。對評價量表(終表)的考核發(fā)現(xiàn)，發(fā)現(xiàn)三級雜志平均得分相差約為5分(分別為20.9±2.8、14.4±4.1、10.3±2.5分)，方差分析P＜0.001，SNK檢驗將它們分成三組，說明精

11、簡項目后效度符合要求；對不同人之間的得分比較，5人的評分均數(shù)分別為17.3±5.1、12.3±4.6、15.7±5.5、16.3±5.6、13.7±5.9分，單因素方差分析P=0.177，可見不同人之間的重復(fù)性有較好的改善。精簡項目后，所費(fèi)時間英文平均小于30min，中文平均小于20min。為適應(yīng)不同的需要，我們將量表(終表)評價時方差最大的前幾項進(jìn)行了分析，結(jié)果選取方差最大的7項時，可以兩兩區(qū)分出三級雜志，因此選出方差最大的7項作為評

12、價量表(簡表)。 討論與研究結(jié)論：本研究研制出了適合國內(nèi)應(yīng)用的醫(yī)學(xué)論文統(tǒng)計學(xué)相關(guān)項目的系列表格，包括自查清單、評價量表的初表、終表和簡表。這些清單和量表的應(yīng)用不僅能直接提高國內(nèi)醫(yī)學(xué)論文的統(tǒng)計學(xué)表達(dá)水平，還能提高國內(nèi)醫(yī)學(xué)研究的設(shè)計水平、醫(yī)學(xué)研究者的統(tǒng)計學(xué)意識、其它類型研究的報告水平、國內(nèi)醫(yī)學(xué)期刊的科學(xué)水平，還為醫(yī)學(xué)期刊和論文的科學(xué)性評價打下了基礎(chǔ)。對評價量表(初表)的考核結(jié)果表明，初表的效度和不同時間的可重復(fù)性較好，惟不同人之間的

13、重復(fù)性較差，而評價量表(終表)在不同人之間的可重復(fù)性明顯改善。在時間負(fù)荷上，評價量表(終表)應(yīng)用于外文文獻(xiàn)時平均時間少于30min，應(yīng)用于中文文獻(xiàn)時平均少于15min。本研究充分復(fù)習(xí)了各類文獻(xiàn)，調(diào)查對象均衡地分為4類人員，歷經(jīng)兩輪調(diào)查和三輪評價，每次調(diào)查和評價都在上一輪的基礎(chǔ)上進(jìn)行修改和完善，項目的篩選和舍棄都是結(jié)合了多種評價標(biāo)準(zhǔn)進(jìn)行的，量表(終表)的評價文獻(xiàn)是隨機(jī)抽樣產(chǎn)生的，評價人員的分配是分層隨機(jī)進(jìn)行的，最后得到的結(jié)果也證明不論是不

14、同時間的重復(fù)性、不同評價者間的重復(fù)性和量表的區(qū)分度都達(dá)到了預(yù)期目的，說明本研究是嚴(yán)謹(jǐn)?shù)摹⒖煽康摹?與CONSORT的清單比較，本研究的自查清單含項目62項，比CONSORT的細(xì)分項目稍多。比較研究發(fā)現(xiàn)本研究延續(xù)了CONSORT的精神，但是隨機(jī)化的細(xì)節(jié)項目較少，且補(bǔ)充了研究設(shè)計中關(guān)于控制偏倚的項目、統(tǒng)計分析預(yù)定的標(biāo)準(zhǔn)、統(tǒng)計分析實際結(jié)果的表達(dá)項目、圖示與術(shù)語問題、結(jié)合目的進(jìn)行討論、分析設(shè)計中存在的問題、比較利弊得出結(jié)論等，更切合國內(nèi)

15、的研究水平，又可以認(rèn)為是CONSORT標(biāo)準(zhǔn)的創(chuàng)新、發(fā)展和中國化。 本研究定量地比較了中英文醫(yī)學(xué)論文的統(tǒng)計學(xué)項目報告水平，結(jié)果以評價量表(初表)評價時，英文醫(yī)學(xué)論文比中文醫(yī)學(xué)論文的統(tǒng)計學(xué)表達(dá)水平高出10分以上，用量表(終表)評價時，差距也達(dá)5分以上，可見二者差距較大。以評價量表(初表，35項)比較各項目得分，發(fā)現(xiàn)二者差別有統(tǒng)計學(xué)意義者達(dá)17項，僅1項(統(tǒng)計檢驗的統(tǒng)計量值)中文得分高于英文(未見報告)，其余全部為英文高于中文。英文所

16、有論文都得分的項目也較多。 本研究初期回復(fù)率不高，約為60％，與一般要求的調(diào)查回復(fù)率相比偏低，所幸的是結(jié)果發(fā)現(xiàn)先后回復(fù)者差別不大，且我們的研究并非要得出項目的絕對得分，而是相對重要性，因此結(jié)果仍然可靠。項目的篩選過程中沒有明確的界限，我們只好采取了多種方式相結(jié)合的方法篩選，以避免單一方法帶來的不足。 本研究的自查清單適用于醫(yī)學(xué)投稿者投稿時自查、醫(yī)學(xué)編輯和審稿者在審稿時對照把關(guān)，而評價量表則適合在醫(yī)學(xué)論文接受后尤其是發(fā)表后