中國(guó)英語(yǔ)考試行為準(zhǔn)則制訂：一項(xiàng)探索性研究.pdf

1、近些年以來(lái)，世界各地的語(yǔ)言測(cè)試組織和機(jī)構(gòu)紛紛制訂了自己的語(yǔ)言測(cè)試標(biāo)準(zhǔn)或者測(cè)試行為準(zhǔn)則，以期提高語(yǔ)言測(cè)試的質(zhì)量和專業(yè)化水平（參見如AERA/APA/NCME,1999; ALTE,1994; EALTA,2006; ETS,2002; ILTA,2000,2007;JLTA,2003等）。與此同時(shí)，隨著我國(guó)國(guó)際交往的日益頻繁，學(xué)習(xí)英語(yǔ)人數(shù)的不斷攀升，英語(yǔ)考試在我國(guó)得到了迅猛的發(fā)展。這些英語(yǔ)考試往往都是大規(guī)模、標(biāo)準(zhǔn)化、高風(fēng)險(xiǎn)的考試。而且，這

2、些考試對(duì)英語(yǔ)的教學(xué)往往容易產(chǎn)生重要的反撥作用，在社會(huì)上具有廣泛的影響。因此這些考試本身的質(zhì)量如何，考試是否能夠公平、有效地測(cè)量出考生的英語(yǔ)水平，成為引人關(guān)注的問(wèn)題。
　　本研究的目的是為我國(guó)英語(yǔ)考試的開發(fā)、實(shí)施和使用制訂一套適合我國(guó)國(guó)情和考試特點(diǎn)的《良好測(cè)試行為準(zhǔn)則》（下簡(jiǎn)稱為《準(zhǔn)則》）。世界上很多測(cè)試標(biāo)準(zhǔn)或準(zhǔn)則的開發(fā)與起草，往往取決于開發(fā)或者起草人員對(duì)于考試特征的主觀性或者經(jīng)驗(yàn)性的認(rèn)識(shí)與了解。本研究與這些測(cè)試標(biāo)準(zhǔn)制訂的不同之處在

3、于其采用了以數(shù)據(jù)為基礎(chǔ)的途徑，也就是說(shuō)標(biāo)準(zhǔn)的框架和條款主要取決于在本研究各個(gè)階段所收集的數(shù)據(jù)。為了達(dá)到制訂《準(zhǔn)則》的目的，本研究擬回答以下三個(gè)研究問(wèn)題:
　　1)目前世界各地已經(jīng)制訂、實(shí)施和使用的語(yǔ)言測(cè)試標(biāo)準(zhǔn)有哪些？這些標(biāo)準(zhǔn)的制訂，對(duì)于我們開發(fā)適合我國(guó)國(guó)情和考試特點(diǎn)的標(biāo)準(zhǔn)，有哪些啟發(fā)？
　　2)我們所要制訂和實(shí)施的《準(zhǔn)則》，其外在的環(huán)境特征是什么？
　　3)《準(zhǔn)則》的框架和條款分別是什么？如何將我們所采集的數(shù)據(jù)應(yīng)用到《

4、準(zhǔn)則》的框架和條款的制訂中？
　　為了回答這三個(gè)研究問(wèn)題，本研究采取了三個(gè)階段的設(shè)計(jì)方案。在第一階段，我們收集并且系統(tǒng)回顧了語(yǔ)言測(cè)試領(lǐng)域的主要標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)由世界各地的語(yǔ)言測(cè)試組織與機(jī)構(gòu)制訂，并且這些標(biāo)準(zhǔn)的頒布實(shí)施對(duì)于語(yǔ)言測(cè)試領(lǐng)域都具有一定的影響。我們回顧的這些標(biāo)準(zhǔn)中，包括了國(guó)際語(yǔ)言測(cè)試協(xié)會(huì)的《道德準(zhǔn)則》(ILTA，2000)，美國(guó)教育研究協(xié)會(huì)、美國(guó)心理協(xié)會(huì)和美國(guó)國(guó)家教育測(cè)量協(xié)會(huì)三家機(jī)構(gòu)共同頒布的《教育與心理測(cè)量標(biāo)準(zhǔn)》（AERA/

5、APA/NCME，1999）以及美國(guó)教育考試中心所制訂頒布的《ETS質(zhì)量與公平標(biāo)準(zhǔn)》(ETS，2002)。通過(guò)對(duì)這些標(biāo)準(zhǔn)全面、細(xì)致、系統(tǒng)的回顧，我們建立了制訂語(yǔ)言測(cè)試標(biāo)準(zhǔn)的基本模型。在這一模型中，我們明確了制訂標(biāo)準(zhǔn)的步驟及核心要素。這一模型將被運(yùn)用到《準(zhǔn)則》的制訂中。
　　在第二階段，我們對(duì)目前我國(guó)英語(yǔ)考試在開發(fā)、實(shí)施和使用的各個(gè)階段的具體做法進(jìn)行了詳細(xì)的調(diào)查研究。全國(guó)共有六家考試機(jī)構(gòu)、490名高校學(xué)生和166名高校教師參加了本項(xiàng)

6、調(diào)查。本調(diào)查分為兩個(gè)階段:第一階段是調(diào)查考試機(jī)構(gòu)在考試開發(fā)、實(shí)施和使用全過(guò)程中的具體做法;第二階段是了解學(xué)生與教師對(duì)于考試開發(fā)、實(shí)施和使用各個(gè)方面的評(píng)價(jià)。調(diào)查采用了定性和定量相結(jié)合的研究方法，主要的研究工具為三份調(diào)查問(wèn)卷。同時(shí)，調(diào)查中也使用了三份清單和一份訪談綱要。通過(guò)對(duì)考試機(jī)構(gòu)的調(diào)查，我們了解了目前考試機(jī)構(gòu)在考試各個(gè)階段的做法，確定了在考試開發(fā)、實(shí)施和使用各個(gè)環(huán)節(jié)的長(zhǎng)處和亟待改進(jìn)的地方。通過(guò)調(diào)查發(fā)現(xiàn)，考試機(jī)構(gòu)在考試全過(guò)程中都采用了自己

7、機(jī)構(gòu)內(nèi)部制訂的質(zhì)量控制措施，但是這些措施本身的效度有待進(jìn)一步證明;試測(cè)、考試信息的透明度、以及報(bào)道和使用考試成績(jī)等方面存在的問(wèn)題較多，從而影響到考試的效度和公平性。對(duì)于學(xué)生和教師的問(wèn)卷調(diào)查進(jìn)一步確認(rèn)了第一階段的調(diào)查結(jié)果。我們發(fā)現(xiàn)，學(xué)生和教師總體上對(duì)英語(yǔ)考試的看法較為積極。學(xué)生和教師認(rèn)為，英語(yǔ)考試存在的不足之處包括有些考試的任務(wù)設(shè)計(jì)不太真實(shí)、選擇題過(guò)多、考試實(shí)施中作弊現(xiàn)象嚴(yán)重、考試的評(píng)分不夠精確以及口語(yǔ)能力的考察不足等。對(duì)考試機(jī)構(gòu)和考生及

8、教師的實(shí)證性調(diào)查讓我們進(jìn)一步意識(shí)到為我國(guó)英語(yǔ)考試制訂《準(zhǔn)則》的必要性和急迫性。
　　在第三階段，根據(jù)前兩個(gè)階段的研究結(jié)果，我們開始起草《準(zhǔn)則》。在起草《準(zhǔn)則》之前，我們回顧了模型中制訂標(biāo)準(zhǔn)必須要考慮的關(guān)鍵因素。第二階段的實(shí)證研究表明，《準(zhǔn)則》并不應(yīng)該僅僅為考試的開發(fā)者制訂，而是應(yīng)該包括考試的其他利益相關(guān)群體，如教育主管部門，考生和教師等等。只有考試所有的利益相關(guān)群體共同協(xié)作，才能真正保證考試的效度和公平性。而且通過(guò)第二階段的研究，

9、我們發(fā)現(xiàn)，在現(xiàn)階段，我們無(wú)法在《準(zhǔn)則》中起草強(qiáng)制性的實(shí)施條款。我們認(rèn)為，目前的《準(zhǔn)則》的目的應(yīng)該是主要是教育性和啟發(fā)性的。換言之，《準(zhǔn)則》目的一共包括兩個(gè)方面:一是提高語(yǔ)言測(cè)試者的質(zhì)量和專業(yè)意識(shí);二是向考試的利益相關(guān)群體傳播考試開發(fā)、實(shí)施和使用的基本知識(shí)以及考試在各個(gè)階段的良好做法。
　　本研究的目的是通過(guò)制訂《準(zhǔn)則》，以期提高語(yǔ)言測(cè)試質(zhì)量、效度和公平性，這在國(guó)內(nèi)尚屬首次。我們認(rèn)為，本研究所制訂的《準(zhǔn)則》以及制訂《準(zhǔn)則》的過(guò)程，對(duì)

10、于我國(guó)語(yǔ)言測(cè)試的理論和實(shí)踐，都具有一定的參考價(jià)值。而且，本研究中提出的由教育性與啟發(fā)性的廣義標(biāo)準(zhǔn)向指導(dǎo)某個(gè)特定考試機(jī)構(gòu)的具體測(cè)試標(biāo)準(zhǔn)的過(guò)渡，為我國(guó)語(yǔ)言考試機(jī)構(gòu)制訂適合自己情況的測(cè)試標(biāo)準(zhǔn)，提供了可操作的途徑。當(dāng)然，本研究的大部分工作都集中在《準(zhǔn)則》的前期效度研究上(the a priorivalidation)。由于時(shí)間、精力和篇幅的限制，《準(zhǔn)則》的后期效度研究(the a posteriorivalidation)，不在本論文的研究討論