中國英語考試行為準(zhǔn)則制訂：一項(xiàng)探索性研究.pdf

1、近些年以來，世界各地的語言測試組織和機(jī)構(gòu)紛紛制訂了自己的語言測試標(biāo)準(zhǔn)或者測試行為準(zhǔn)則，以期提高語言測試的質(zhì)量和專業(yè)化水平（參見如AERA/APA/NCME,1999; ALTE,1994; EALTA,2006; ETS,2002; ILTA,2000,2007;JLTA,2003等）。與此同時，隨著我國國際交往的日益頻繁，學(xué)習(xí)英語人數(shù)的不斷攀升，英語考試在我國得到了迅猛的發(fā)展。這些英語考試往往都是大規(guī)模、標(biāo)準(zhǔn)化、高風(fēng)險的考試。而且，這

2、些考試對英語的教學(xué)往往容易產(chǎn)生重要的反撥作用，在社會上具有廣泛的影響。因此這些考試本身的質(zhì)量如何，考試是否能夠公平、有效地測量出考生的英語水平，成為引人關(guān)注的問題。
　　本研究的目的是為我國英語考試的開發(fā)、實(shí)施和使用制訂一套適合我國國情和考試特點(diǎn)的《良好測試行為準(zhǔn)則》（下簡稱為《準(zhǔn)則》）。世界上很多測試標(biāo)準(zhǔn)或準(zhǔn)則的開發(fā)與起草，往往取決于開發(fā)或者起草人員對于考試特征的主觀性或者經(jīng)驗(yàn)性的認(rèn)識與了解。本研究與這些測試標(biāo)準(zhǔn)制訂的不同之處在

3、于其采用了以數(shù)據(jù)為基礎(chǔ)的途徑，也就是說標(biāo)準(zhǔn)的框架和條款主要取決于在本研究各個階段所收集的數(shù)據(jù)。為了達(dá)到制訂《準(zhǔn)則》的目的，本研究擬回答以下三個研究問題:
　　1)目前世界各地已經(jīng)制訂、實(shí)施和使用的語言測試標(biāo)準(zhǔn)有哪些？這些標(biāo)準(zhǔn)的制訂，對于我們開發(fā)適合我國國情和考試特點(diǎn)的標(biāo)準(zhǔn)，有哪些啟發(fā)？
　　2)我們所要制訂和實(shí)施的《準(zhǔn)則》，其外在的環(huán)境特征是什么？
　　3)《準(zhǔn)則》的框架和條款分別是什么？如何將我們所采集的數(shù)據(jù)應(yīng)用到《

4、準(zhǔn)則》的框架和條款的制訂中？
　　為了回答這三個研究問題，本研究采取了三個階段的設(shè)計方案。在第一階段，我們收集并且系統(tǒng)回顧了語言測試領(lǐng)域的主要標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)由世界各地的語言測試組織與機(jī)構(gòu)制訂，并且這些標(biāo)準(zhǔn)的頒布實(shí)施對于語言測試領(lǐng)域都具有一定的影響。我們回顧的這些標(biāo)準(zhǔn)中，包括了國際語言測試協(xié)會的《道德準(zhǔn)則》(ILTA，2000)，美國教育研究協(xié)會、美國心理協(xié)會和美國國家教育測量協(xié)會三家機(jī)構(gòu)共同頒布的《教育與心理測量標(biāo)準(zhǔn)》（AERA/

5、APA/NCME，1999）以及美國教育考試中心所制訂頒布的《ETS質(zhì)量與公平標(biāo)準(zhǔn)》(ETS，2002)。通過對這些標(biāo)準(zhǔn)全面、細(xì)致、系統(tǒng)的回顧，我們建立了制訂語言測試標(biāo)準(zhǔn)的基本模型。在這一模型中，我們明確了制訂標(biāo)準(zhǔn)的步驟及核心要素。這一模型將被運(yùn)用到《準(zhǔn)則》的制訂中。
　　在第二階段，我們對目前我國英語考試在開發(fā)、實(shí)施和使用的各個階段的具體做法進(jìn)行了詳細(xì)的調(diào)查研究。全國共有六家考試機(jī)構(gòu)、490名高校學(xué)生和166名高校教師參加了本項(xiàng)

6、調(diào)查。本調(diào)查分為兩個階段:第一階段是調(diào)查考試機(jī)構(gòu)在考試開發(fā)、實(shí)施和使用全過程中的具體做法;第二階段是了解學(xué)生與教師對于考試開發(fā)、實(shí)施和使用各個方面的評價。調(diào)查采用了定性和定量相結(jié)合的研究方法，主要的研究工具為三份調(diào)查問卷。同時，調(diào)查中也使用了三份清單和一份訪談綱要。通過對考試機(jī)構(gòu)的調(diào)查，我們了解了目前考試機(jī)構(gòu)在考試各個階段的做法，確定了在考試開發(fā)、實(shí)施和使用各個環(huán)節(jié)的長處和亟待改進(jìn)的地方。通過調(diào)查發(fā)現(xiàn)，考試機(jī)構(gòu)在考試全過程中都采用了自己

7、機(jī)構(gòu)內(nèi)部制訂的質(zhì)量控制措施，但是這些措施本身的效度有待進(jìn)一步證明;試測、考試信息的透明度、以及報道和使用考試成績等方面存在的問題較多，從而影響到考試的效度和公平性。對于學(xué)生和教師的問卷調(diào)查進(jìn)一步確認(rèn)了第一階段的調(diào)查結(jié)果。我們發(fā)現(xiàn)，學(xué)生和教師總體上對英語考試的看法較為積極。學(xué)生和教師認(rèn)為，英語考試存在的不足之處包括有些考試的任務(wù)設(shè)計不太真實(shí)、選擇題過多、考試實(shí)施中作弊現(xiàn)象嚴(yán)重、考試的評分不夠精確以及口語能力的考察不足等。對考試機(jī)構(gòu)和考生及

8、教師的實(shí)證性調(diào)查讓我們進(jìn)一步意識到為我國英語考試制訂《準(zhǔn)則》的必要性和急迫性。
　　在第三階段，根據(jù)前兩個階段的研究結(jié)果，我們開始起草《準(zhǔn)則》。在起草《準(zhǔn)則》之前，我們回顧了模型中制訂標(biāo)準(zhǔn)必須要考慮的關(guān)鍵因素。第二階段的實(shí)證研究表明，《準(zhǔn)則》并不應(yīng)該僅僅為考試的開發(fā)者制訂，而是應(yīng)該包括考試的其他利益相關(guān)群體，如教育主管部門，考生和教師等等。只有考試所有的利益相關(guān)群體共同協(xié)作，才能真正保證考試的效度和公平性。而且通過第二階段的研究，

9、我們發(fā)現(xiàn)，在現(xiàn)階段，我們無法在《準(zhǔn)則》中起草強(qiáng)制性的實(shí)施條款。我們認(rèn)為，目前的《準(zhǔn)則》的目的應(yīng)該是主要是教育性和啟發(fā)性的。換言之，《準(zhǔn)則》目的一共包括兩個方面:一是提高語言測試者的質(zhì)量和專業(yè)意識;二是向考試的利益相關(guān)群體傳播考試開發(fā)、實(shí)施和使用的基本知識以及考試在各個階段的良好做法。
　　本研究的目的是通過制訂《準(zhǔn)則》，以期提高語言測試質(zhì)量、效度和公平性，這在國內(nèi)尚屬首次。我們認(rèn)為，本研究所制訂的《準(zhǔn)則》以及制訂《準(zhǔn)則》的過程，對

10、于我國語言測試的理論和實(shí)踐，都具有一定的參考價值。而且，本研究中提出的由教育性與啟發(fā)性的廣義標(biāo)準(zhǔn)向指導(dǎo)某個特定考試機(jī)構(gòu)的具體測試標(biāo)準(zhǔn)的過渡，為我國語言考試機(jī)構(gòu)制訂適合自己情況的測試標(biāo)準(zhǔn)，提供了可操作的途徑。當(dāng)然，本研究的大部分工作都集中在《準(zhǔn)則》的前期效度研究上(the a priorivalidation)。由于時間、精力和篇幅的限制，《準(zhǔn)則》的后期效度研究(the a posteriorivalidation)，不在本論文的研究討論