隨機對照試驗統(tǒng)計學項目自查清單與評價量表的研制與考核.pdf

1、本文希望集合國內(nèi)多學科專家研制出適合國內(nèi)應用的醫(yī)學論文(主要是針對隨機對照研究，randomizedcontrolledtrial，RCT)的統(tǒng)計學報告自查清單，然后在此基礎上研制出醫(yī)學論文統(tǒng)計學報告質(zhì)量的評價量表，并對評價量表進行效度和信度的考核。 研究資料與方法：充分復習了國內(nèi)外可獲得的醫(yī)學期刊、碩士論文、專著、行業(yè)標準、網(wǎng)絡資料等方面的關于統(tǒng)計學誤用、統(tǒng)計學報告等方面的文獻，整理成RCT論文統(tǒng)計學相關項目必要性調(diào)查表(草案

2、)，對流行病學專家19人、統(tǒng)計學專家18人、關心醫(yī)學論文統(tǒng)計學誤用的專家18人、臨床研究專家19人，共74人進行了共兩輪調(diào)查。依第二輪調(diào)查的結果，將項目平均分＞3分的所有項目保留作為“醫(yī)學論文統(tǒng)計學報告自查清單”。按第二輪調(diào)查項目總得分及較多專家認為“必要”(評分＞=3分)的標準篩選出約30項作為醫(yī)學論文統(tǒng)計學報告質(zhì)量評價量表(初表)。將評價量表(初表)應用于國外統(tǒng)計學應用較好的醫(yī)學雜志、國內(nèi)統(tǒng)計學應用較好和較差的醫(yī)學雜志各1種，以初步

3、考核評價量表(初表)的效度以及不同人之間和不同時間之間的量表的一致性。若評價量表(初表)有效，然后將其擴大應用于一般醫(yī)學論文，記錄評價過程中遇到的實際問題，以便完善量表(初表)的表達。將應用評價結果當中方差較小的項目舍棄，形成評價量表(終表)。對評價量表(終表)的效度和信度再行評價，依樣本量計算，選出以上三級雜志各2種，分層隨機抽樣選中近5年共54篇文獻，應用評價量表(終表)，比較不同評分者評分的均數(shù)、比較不同級別雜志得分的均數(shù)和所費時

4、間。調(diào)查資料輸入MicrosoftExcel，評價量表的應用與評價數(shù)據(jù)輸入SPSS13.0，以配對t檢驗和Pearson相關系數(shù)分析評價量表的信度，以單因素方差分析比較不同級別雜志得分的均數(shù)以考察評價量表的效度。按方差最小的原則舍棄評價量表(初表)中的項目以精簡成評價量表(終表)。 主要研究結果：文獻的復習和首次調(diào)查表(草案)的起草2005年9月前完成，共解析出RCT相關統(tǒng)計學表達項目125條，分布于論文的題目到討論部分。200

5、5年9月-2006年3月完成第一和第二輪調(diào)查及評價量表(初表與終表)的預試驗、信度效度評價和應用性評價。 第一輪調(diào)查發(fā)出74份，回復41份，有效40份，補充3位臨床研究專家后共得有效問卷43份。流行病學家、統(tǒng)計學家、關心統(tǒng)計誤用者及臨床研究者四類人員中回復數(shù)構成和未回復數(shù)構成經(jīng)精確概率法檢驗，P=0.756和P=0.315，可認為構成沒有差異。四類人員回復的項目總分比較，流行病學專家評分較高(155±49)，其余各組均數(shù)為130

6、-138間，但經(jīng)方差分析，P=0.395，可認為多組間均數(shù)沒有差異。將第一輪調(diào)查的回復問卷分為先回復和后回復兩組比較，結果先后回復者總分的均數(shù)與標準差分別為146.8±42.9和133.1±42.4分，但經(jīng)t檢驗雙側P=0.294，秩和檢驗P=0.382，可認為兩組沒有差別。將80％以上專家認為“必要”的項目篩選出來，歸并相關項目整理后，共得到60項，含專家補充的1項。第二輪調(diào)查回復47份，全部有效，四類人員構成檢驗P=0.466。第二

7、輪調(diào)查結果，除第一輪由專家補充的1項外，第一輪篩選出的全部項目算術均分＞3分(必要分)。 第二輪調(diào)查后，除補充項目外其余59項全部入選為自查項目清單。另因符號與術語項包含內(nèi)容較多，細分為3項，實際清單共62項，含摘要部分8項、引言2項、方法20項、結果25項、討論6項。 將自查清單的項目舍去摘要的項目，按項目得分總分以及認為“必要”的專家人數(shù)兩種方法從高到低排序，未見明顯分界線，按預計項目30項左右得到總分前28名，認為

8、必要人數(shù)前30名，共35項作為評價量表(初表)?？己嗽u價量表(初表)時，將兩評價者兩次的評分及研究者復核的評分平均，以平均分為方差分析依據(jù)，結果三級別雜志得分均數(shù)分別為41.5±0.3，30.7±1.5，24.1±3.6，單因素方差分析P＜0.001，在0.05的水平下，SNK檢驗能兩兩區(qū)分出來。不同人之間評分的比較，不論是將兩次評價的結果當成獨立樣本還是將其平均，rP＞0.87、P＜0.001，但配對t檢驗結果P＜0.001，可見雖然

9、不同人對同批論文評價的相關性較大，但并不一致。不同時間評分的比較，兩種取值方法rP＞0.88，P＜=0.001，t檢驗結果P＞0.67，說明不同時間評價的一致性較好。評價量表(初表)的應用結果發(fā)現(xiàn)，英文雜志得分較高(38.7±4.4分)，而中華醫(yī)學系列雜志與非中華醫(yī)學系列雜志得分類似(26.0±6.3分和26.0±7.1分)，SNK檢驗僅能將其分為兩組，可見統(tǒng)計學報告質(zhì)量與內(nèi)容質(zhì)量并不一致。評價量表(初表)35項中，約有一半的項目(17

10、項)英文得分皆高于中文，僅有1項中文高于外文，其余項目無統(tǒng)計學差異。 將應用結果當中的項目總方差、標準化方差和中文文獻的方差結合起來，以兩項以上方差皆排在后10位為標準，精簡后變成了27項的評價量表(終表)，并依應用結果記錄的問題對表達進行了完善。對評價量表(終表)的考核發(fā)現(xiàn)，發(fā)現(xiàn)三級雜志平均得分相差約為5分(分別為20.9±2.8、14.4±4.1、10.3±2.5分)，方差分析P＜0.001，SNK檢驗將它們分成三組，說明精

11、簡項目后效度符合要求；對不同人之間的得分比較，5人的評分均數(shù)分別為17.3±5.1、12.3±4.6、15.7±5.5、16.3±5.6、13.7±5.9分，單因素方差分析P=0.177，可見不同人之間的重復性有較好的改善。精簡項目后，所費時間英文平均小于30min，中文平均小于20min。為適應不同的需要，我們將量表(終表)評價時方差最大的前幾項進行了分析，結果選取方差最大的7項時，可以兩兩區(qū)分出三級雜志，因此選出方差最大的7項作為評

12、價量表(簡表)。 討論與研究結論：本研究研制出了適合國內(nèi)應用的醫(yī)學論文統(tǒng)計學相關項目的系列表格，包括自查清單、評價量表的初表、終表和簡表。這些清單和量表的應用不僅能直接提高國內(nèi)醫(yī)學論文的統(tǒng)計學表達水平，還能提高國內(nèi)醫(yī)學研究的設計水平、醫(yī)學研究者的統(tǒng)計學意識、其它類型研究的報告水平、國內(nèi)醫(yī)學期刊的科學水平，還為醫(yī)學期刊和論文的科學性評價打下了基礎。對評價量表(初表)的考核結果表明，初表的效度和不同時間的可重復性較好，惟不同人之間的

13、重復性較差，而評價量表(終表)在不同人之間的可重復性明顯改善。在時間負荷上，評價量表(終表)應用于外文文獻時平均時間少于30min，應用于中文文獻時平均少于15min。本研究充分復習了各類文獻，調(diào)查對象均衡地分為4類人員，歷經(jīng)兩輪調(diào)查和三輪評價，每次調(diào)查和評價都在上一輪的基礎上進行修改和完善，項目的篩選和舍棄都是結合了多種評價標準進行的，量表(終表)的評價文獻是隨機抽樣產(chǎn)生的，評價人員的分配是分層隨機進行的，最后得到的結果也證明不論是不

14、同時間的重復性、不同評價者間的重復性和量表的區(qū)分度都達到了預期目的，說明本研究是嚴謹?shù)?、可靠的?與CONSORT的清單比較，本研究的自查清單含項目62項，比CONSORT的細分項目稍多。比較研究發(fā)現(xiàn)本研究延續(xù)了CONSORT的精神，但是隨機化的細節(jié)項目較少，且補充了研究設計中關于控制偏倚的項目、統(tǒng)計分析預定的標準、統(tǒng)計分析實際結果的表達項目、圖示與術語問題、結合目的進行討論、分析設計中存在的問題、比較利弊得出結論等，更切合國內(nèi)

15、的研究水平，又可以認為是CONSORT標準的創(chuàng)新、發(fā)展和中國化。 本研究定量地比較了中英文醫(yī)學論文的統(tǒng)計學項目報告水平，結果以評價量表(初表)評價時，英文醫(yī)學論文比中文醫(yī)學論文的統(tǒng)計學表達水平高出10分以上，用量表(終表)評價時，差距也達5分以上，可見二者差距較大。以評價量表(初表，35項)比較各項目得分，發(fā)現(xiàn)二者差別有統(tǒng)計學意義者達17項，僅1項(統(tǒng)計檢驗的統(tǒng)計量值)中文得分高于英文(未見報告)，其余全部為英文高于中文。英文所

16、有論文都得分的項目也較多。 本研究初期回復率不高，約為60％，與一般要求的調(diào)查回復率相比偏低，所幸的是結果發(fā)現(xiàn)先后回復者差別不大，且我們的研究并非要得出項目的絕對得分，而是相對重要性，因此結果仍然可靠。項目的篩選過程中沒有明確的界限，我們只好采取了多種方式相結合的方法篩選，以避免單一方法帶來的不足。 本研究的自查清單適用于醫(yī)學投稿者投稿時自查、醫(yī)學編輯和審稿者在審稿時對照把關，而評價量表則適合在醫(yī)學論文接受后尤其是發(fā)表后