評(píng)分員與評(píng)分量表間的交互作用對(duì)EFL作文評(píng)分結(jié)果與過(guò)程的影響.pdf

1、要求考生寫(xiě)出一個(gè)（或幾個(gè)）樣本的寫(xiě)作任務(wù)，即直接寫(xiě)作測(cè)試，是目前寫(xiě)作測(cè)試中最為常用的方法(Weigle2002)。由于此類測(cè)試的評(píng)分涉及包含評(píng)分員、評(píng)分量表、考生、作文、寫(xiě)作任務(wù)以及評(píng)分員培訓(xùn)等在內(nèi)的多個(gè)因素及其交互作用(Milanovic&Saville1996:7;Weigle2002:60;Barkaoui2008:8)，評(píng)分的過(guò)程和結(jié)果都常呈現(xiàn)出差異性。而在上述諸因素中，又以評(píng)分員與評(píng)分量表之間的交互作用對(duì)評(píng)分的影響最為直接。作

2、為評(píng)分過(guò)程的核心（Lumley2002:267），評(píng)分員通過(guò)與作為測(cè)試構(gòu)念的操作化定義的評(píng)分量表的交互，直接決定了某項(xiàng)寫(xiě)作測(cè)試的實(shí)際構(gòu)念效度，并對(duì)測(cè)試的信度產(chǎn)生重要的影響。由此可見(jiàn)，量表與評(píng)分員之間的交互作用正是寫(xiě)作測(cè)試信、效度問(wèn)題的核心。然而，已有的國(guó)內(nèi)外研究尚未能夠就這一交互作用對(duì)作文評(píng)分過(guò)程和結(jié)果的影響取得共識(shí)。而現(xiàn)有的少數(shù)研究在研究方法以及研究設(shè)計(jì)上也都還存在改進(jìn)的空間。因此，本研究希望通過(guò)綜合使用定性、定量的研究方法，對(duì)評(píng)分員

3、與整體以及分項(xiàng)評(píng)分量表之間的交互作用對(duì)評(píng)分過(guò)程和結(jié)果的影響作出進(jìn)一步的說(shuō)明。
　　結(jié)合中國(guó)測(cè)試實(shí)踐，本研究針對(duì)大學(xué)英語(yǔ)六級(jí)考試(CET6)的寫(xiě)作部分展開(kāi)，所采用的實(shí)驗(yàn)材料也來(lái)自某次CET6考試的實(shí)考作文。9名具有一定CET6作文評(píng)分經(jīng)驗(yàn)的評(píng)分員，對(duì)共60份CET6實(shí)考作文使用CET6整體評(píng)分量表以及一個(gè)專為本研究所設(shè)計(jì)的分項(xiàng)評(píng)分量表，進(jìn)行了先后兩次評(píng)分。同時(shí)為了獲得有關(guān)評(píng)分過(guò)程的實(shí)證證據(jù)，所有評(píng)分員都在對(duì)其中10份作文進(jìn)行評(píng)分時(shí)作

4、了有聲思維報(bào)告。此外，為了進(jìn)一步了解評(píng)分員對(duì)評(píng)分量表的理解、使用以及評(píng)價(jià)，所有評(píng)分員還在完成有聲思維報(bào)告之余，參與了針對(duì)兩種量表的問(wèn)卷調(diào)查和半結(jié)構(gòu)式訪談。
　　由于本研究發(fā)現(xiàn)有聲思維報(bào)告的使用會(huì)對(duì)作文評(píng)分的結(jié)果產(chǎn)生一定的影響，因此對(duì)作文得分的定量分析是以兩次獨(dú)立評(píng)分(50份)的結(jié)果為依據(jù)的。為能分別從群體和個(gè)體兩個(gè)層面說(shuō)明評(píng)分員與量表的交互作用對(duì)評(píng)分結(jié)果的影響，本研究同時(shí)使用了概化理論和多層面Rasch模型來(lái)對(duì)作文得分進(jìn)行分析。另

5、一方面，為了能對(duì)有聲思維報(bào)告進(jìn)行全面、細(xì)致的描寫(xiě)，本研究根據(jù)所使用的評(píng)分量表以及具體的研究問(wèn)題，建構(gòu)了專門的有聲思維報(bào)告編碼系統(tǒng)。該編碼系統(tǒng)對(duì)評(píng)分策略以及評(píng)分員的文本關(guān)注點(diǎn)進(jìn)行了分類描寫(xiě)。在此基礎(chǔ)之上，本研究對(duì)兩次有聲思維報(bào)告的主要編碼類別作了定量比較。同時(shí)，為了能在使用不同量表時(shí)評(píng)分員的評(píng)分策略、文本關(guān)注點(diǎn)，以及評(píng)分難點(diǎn)等方面獲得更加深入的理解，本研究還對(duì)包括有聲思維報(bào)告以及評(píng)分員對(duì)問(wèn)卷調(diào)查和半結(jié)構(gòu)式訪談中相關(guān)陳述和問(wèn)題等的回復(fù)進(jìn)行了

6、定性的和解釋性的分析。
　　對(duì)作文得分的定量分析顯示，評(píng)分員與兩類量表的交互的確對(duì)評(píng)分結(jié)果產(chǎn)生了不同的影響:
　　第一，概化理論的決策研究分析顯示:在只用一名評(píng)分員的情況下，使用兩種評(píng)分量表所得分?jǐn)?shù)的概化系數(shù)都未能達(dá)到0.7。但各分項(xiàng)分合成分?jǐn)?shù)的概化系數(shù)(0.695)卻高于使用整體評(píng)分量表所得分?jǐn)?shù)的概化系數(shù)(0.606)。
　　第二，對(duì)比考生層面的分隔指數(shù)和信度可知，與使用整體量表相比，分項(xiàng)量表的使用能使評(píng)分員對(duì)考生的

7、英語(yǔ)寫(xiě)作能力作出更加細(xì)致的區(qū)分;同時(shí)，在使用分項(xiàng)量表時(shí)，非擬合的考生數(shù)量也較少。這些發(fā)現(xiàn)說(shuō)明，分項(xiàng)量表可能更適合對(duì)二語(yǔ)寫(xiě)作能力的測(cè)量。
　　第三，不同量表的使用使得評(píng)分員在嚴(yán)厲度方面發(fā)生了一定的變化。同時(shí)，盡管兩次評(píng)分時(shí)，評(píng)分員之間在嚴(yán)厲度上都存在顯著差異，但由于使用分項(xiàng)量表時(shí)，評(píng)分員對(duì)考生的寫(xiě)作能力能作出更多層次的區(qū)分，因此與使用整體量表相比，使用分項(xiàng)量表時(shí)，評(píng)分員嚴(yán)厲度上的差異對(duì)考生得分的影響更小。此外，概化理論對(duì)分項(xiàng)量表各分

8、項(xiàng)分?jǐn)?shù)的分析還表明，在對(duì)比較局部的語(yǔ)言特點(diǎn)，如語(yǔ)法和詞匯進(jìn)行評(píng)分時(shí)，評(píng)分員在嚴(yán)厲度上的差異較小;而在對(duì)句子或語(yǔ)篇層面的文章特點(diǎn)，如句子結(jié)構(gòu)、連貫性和內(nèi)容進(jìn)行評(píng)分時(shí)，這種差異則較大。這說(shuō)明，對(duì)能被較為客觀描述的分項(xiàng)量表維度，如語(yǔ)法和詞匯，評(píng)分員能對(duì)其在理解和使用上都達(dá)到較高的一致性。
　　第四，盡管在整體上，評(píng)分員在兩次評(píng)分中都實(shí)現(xiàn)了較好的自身一致性，但在使用整體量表時(shí)，有4名評(píng)分員顯示出了過(guò)度擬合的傾向，這說(shuō)明他們的評(píng)分存在著一定

9、的趨中性。另一方面，偏差分析發(fā)現(xiàn)，在使用分項(xiàng)量表時(shí)，評(píng)分員與考生之間以及評(píng)分員與量表維度之間都存在著更多的顯著交互作用?？赡艿脑蚴?第一，分項(xiàng)量表的使用導(dǎo)致評(píng)分員需對(duì)作文給出多個(gè)分?jǐn)?shù)，從而增加了出現(xiàn)這兩類交互的機(jī)會(huì);第二，盡管參與本研究的評(píng)分員都有較為豐富的CET6作文評(píng)分經(jīng)驗(yàn)，但他們都沒(méi)有使用過(guò)分項(xiàng)量表。而這種對(duì)量表使用的不熟練可能給他們的自身一致性帶來(lái)了負(fù)面的影響。此外，評(píng)分員與考生之間的偏差分析顯示，兩類量表的使用導(dǎo)致了不同的偏

10、差交互模式。首先，使用整體量表時(shí)，評(píng)分員與能力度量值高的考生之間出現(xiàn)偏差交互的概率更高，但在使用分項(xiàng)量表時(shí)，他們則更容易與能力度量值低的考生出現(xiàn)偏差交互。其次，盡管在使用整體量表時(shí)，評(píng)分員呈現(xiàn)出對(duì)較高能力的考生偏嚴(yán)而對(duì)較低能力的考生偏松的趨勢(shì)，但這一趨勢(shì)在他們使用分項(xiàng)量表時(shí)則相對(duì)不明顯。最后，評(píng)分員在使用分項(xiàng)量表時(shí)，與處于能力度量值兩極的考生之間出現(xiàn)的偏差交互頻率較高，但這一趨勢(shì)在他們使用整體量表時(shí)卻不明顯。
　　第五，多層面Ra

11、sch模型對(duì)評(píng)分量表使用情況的分析表明:評(píng)分員對(duì)整體量表的個(gè)別分?jǐn)?shù)(11，12，13)的使用未能達(dá)到模型的預(yù)期;此外，幾乎所有相鄰分?jǐn)?shù)起始值間的間隔都未能達(dá)到1.4個(gè)對(duì)數(shù)單位，即這些分?jǐn)?shù)間的區(qū)別都不明顯。相比之下，分項(xiàng)量表全部5個(gè)維度的所有分?jǐn)?shù)的使用情況都未現(xiàn)異常;此外，所有相鄰分?jǐn)?shù)起始值聞的間隔也都處在1.4個(gè)對(duì)數(shù)單位到5個(gè)對(duì)數(shù)單位的合理區(qū)間內(nèi)，即所有相鄰分?jǐn)?shù)間都存在明顯的差別。
　　以上定量分析的結(jié)果表明:在使用分項(xiàng)量表時(shí)，評(píng)

12、分員更容易對(duì)量表各分?jǐn)?shù)作出明確的區(qū)分，而他們?cè)趪?yán)厲度上的差異對(duì)考生能力估計(jì)的影響也更小。更為重要的是，分項(xiàng)量表的使用能夠使評(píng)分員對(duì)考生的二語(yǔ)寫(xiě)作能力作出更加細(xì)致和準(zhǔn)確的區(qū)分。盡管在使用一名評(píng)分員的情況下，各分項(xiàng)維度上的信度表現(xiàn)不盡如人意，但其合成分?jǐn)?shù)的信度表現(xiàn)卻接近0.7。而由于五個(gè)分項(xiàng)維度的全域分?jǐn)?shù)間的相關(guān)系數(shù)很高，這就為將各分項(xiàng)得分進(jìn)行合成提供了依據(jù)。雖然本研究也發(fā)現(xiàn)使用分項(xiàng)量表時(shí)會(huì)產(chǎn)生較多的評(píng)分員與考生以及分項(xiàng)維度間的交互作用，但

13、已有的研究(Engelhard1992;Weigle1998;Cho1999)表明:培訓(xùn)能有效地提高評(píng)分員的自身一致性，減少評(píng)分員與考生以及分項(xiàng)維度間的顯著交互。因此，總的來(lái)說(shuō)，本研究定量分析的結(jié)果表明，分項(xiàng)量表的使用對(duì)二語(yǔ)寫(xiě)作測(cè)試的評(píng)分結(jié)果能產(chǎn)生更為有益的影響。
　　另一方面，對(duì)有聲思維報(bào)告以及對(duì)評(píng)分員所進(jìn)行的問(wèn)卷調(diào)查以及半結(jié)構(gòu)式訪談結(jié)果的定量、定性分析則顯示:評(píng)分員與兩類量表的交互也對(duì)評(píng)分過(guò)程產(chǎn)生了不同的影響。
　　第一

14、，不同量表的使用導(dǎo)致了評(píng)分員在評(píng)分策略使用上的差別。使用整體量表時(shí)，評(píng)分員更頻繁她使用了理解性策略，尤其是用于自我監(jiān)控的理解性策略，如對(duì)文本的閱讀，以及考慮局部語(yǔ)言特點(diǎn)的判斷性策略。同時(shí)，整體量表的使用還導(dǎo)致了評(píng)分員更多地使用那些能幫助他們建構(gòu)文章整體印象的評(píng)分策略，如對(duì)文章的總體印象進(jìn)行明確的表達(dá)，以及對(duì)考生的語(yǔ)言能力以及考試策略等方面進(jìn)行推測(cè)等。此外，由于評(píng)分員在區(qū)分相鄰分?jǐn)?shù)上存在困難，因此他們也更頻繁地使用了考慮相鄰分?jǐn)?shù)的判斷性策

15、略。而在使用分項(xiàng)量表時(shí)，評(píng)分員則更多地使用了判斷性策略，尤其是自我監(jiān)控的以及評(píng)判文章質(zhì)量的判斷性策略。同時(shí)，由于在使用分項(xiàng)量表時(shí)，評(píng)分員需要對(duì)語(yǔ)言使用的不同方面進(jìn)行評(píng)分，這也導(dǎo)致了他們更頻繁地使用對(duì)錯(cuò)誤分類的理解性策略。以上發(fā)現(xiàn)說(shuō)明:評(píng)分量表所包含的評(píng)分方法以及關(guān)注點(diǎn)對(duì)于評(píng)分策略的選用有著不容忽視的影響。
　　第二，不同量表的使用也導(dǎo)致了評(píng)分員在文本關(guān)注點(diǎn)方面的差別。相比使用分項(xiàng)量表，在使用整體量表時(shí)，評(píng)分員更多地關(guān)注了語(yǔ)言使用的

16、整體質(zhì)量以及非量表相關(guān)的語(yǔ)言特點(diǎn)，尤其是中式英語(yǔ)。同時(shí)，他們對(duì)I文章的可理解性，拼寫(xiě)錯(cuò)誤以及詞匯量方面的關(guān)注也更頻繁。而相比使用整體量表，在使用分項(xiàng)量表時(shí)，評(píng)分員則更多地關(guān)注了連貫性和語(yǔ)法，尤其是這兩方面的整體質(zhì)量。同時(shí)他們對(duì)內(nèi)容的完整性、句子結(jié)構(gòu)及詞匯的整體質(zhì)量以及錯(cuò)誤頻率的關(guān)注也更頻繁。此外，在使用分項(xiàng)量表時(shí)，評(píng)分員在文本關(guān)注點(diǎn)上的個(gè)體差異也較小。以上發(fā)現(xiàn)說(shuō)明:評(píng)分員的文本關(guān)注點(diǎn)受評(píng)分量表所包含的描述項(xiàng)以及關(guān)注點(diǎn)的影響。同時(shí)，由于分

17、項(xiàng)量表所含的描述項(xiàng)更為具體細(xì)致，而評(píng)分員又無(wú)需對(duì)評(píng)分標(biāo)準(zhǔn)所含各部分進(jìn)行權(quán)衡以作出一項(xiàng)整體的評(píng)分決定(Goulden1994)，因此他們?cè)谖谋娟P(guān)注點(diǎn)上的個(gè)體差異也更小。此外，本研究的發(fā)現(xiàn)也說(shuō)明分項(xiàng)量表的使用有助于將評(píng)分員的關(guān)注點(diǎn)更多地集中到量表所含的標(biāo)準(zhǔn)上，這主要體現(xiàn)在他們較少使用文章間比較的判斷策略以及較少關(guān)注非量表相關(guān)的語(yǔ)言特點(diǎn)這兩個(gè)方面。
　　第三，盡管使用兩種量表時(shí)，評(píng)分員都在對(duì)連貫性的評(píng)分上遇到了困難，同時(shí)他們認(rèn)為兩個(gè)量表

18、的描述項(xiàng)在精細(xì)度上也都存在缺陷，但不同評(píng)分量表的使用也導(dǎo)致了其他一些不同類型的評(píng)分難點(diǎn)。在使用整體量表時(shí)，評(píng)分員的主要難點(diǎn)集中在對(duì)相鄰分?jǐn)?shù)以及5分和8分兩個(gè)相鄰分?jǐn)?shù)段的區(qū)分，同時(shí)，在內(nèi)容、連貫性和語(yǔ)言等三方面有不一致表現(xiàn)的文章也給整體評(píng)分帶來(lái)了困難。而在使用分項(xiàng)量表時(shí)，評(píng)分員所面臨的主要評(píng)分難點(diǎn)則是:一，應(yīng)對(duì)五個(gè)不同量表維度的評(píng)分所帶來(lái)的認(rèn)知負(fù)荷;二，對(duì)各分項(xiàng)維度進(jìn)行區(qū)分，尤其是對(duì)句子結(jié)構(gòu)和語(yǔ)法，語(yǔ)法和詞匯以及連貫性和語(yǔ)言質(zhì)量等維度所作

19、的區(qū)分。
　　第四，根據(jù)上述評(píng)分過(guò)程的種種異同可推知評(píng)分員在與兩類量表交互時(shí)的主要特征。就評(píng)分員與整體量表的交互而言，評(píng)分員對(duì)量表的理解和使用與量表本身所規(guī)定的并不一致，同時(shí)評(píng)分員還在對(duì)量表各分?jǐn)?shù)的界定上存在困難。而就評(píng)分員與分項(xiàng)量表的交互而言，盡管評(píng)分員對(duì)量表的使用與量表本身所規(guī)定的較為一致，但他們對(duì)量表的理解仍與量表編制者的理解存在差異。
　　以上對(duì)評(píng)分過(guò)程所作的定量、定性分析表明:評(píng)分員對(duì)量表的理解和使用與量表本身所規(guī)

20、定的并不一致，且不一致的程度也因量表的不同而相異。同時(shí)，評(píng)分員與量表的交互作用不僅導(dǎo)致了評(píng)分策略使用上的差異，也導(dǎo)致了文本關(guān)注點(diǎn)上的區(qū)別。總的來(lái)說(shuō)，盡管分項(xiàng)量表在使用上更為耗時(shí)，但這種量表的使用卻能減少評(píng)分員對(duì)非量表相關(guān)的語(yǔ)言特征的關(guān)注。同時(shí)，評(píng)分員對(duì)這類量表的理解與使用也更符合量表編制者的意圖。由此可見(jiàn)，分項(xiàng)量表的使用能對(duì)二語(yǔ)寫(xiě)作測(cè)試的評(píng)分過(guò)程產(chǎn)生更為有益的影響。
　　綜上所述，在理論層面，本研究的主要發(fā)現(xiàn)有以下啟示:首先，評(píng)分

21、員和評(píng)分量表之間存在著復(fù)雜的交互作用。一方面，評(píng)分量表所含的關(guān)注點(diǎn)和描述項(xiàng)會(huì)影響評(píng)分員對(duì)所測(cè)構(gòu)念的理解以及他們?cè)趯?shí)際評(píng)分中所依據(jù)的標(biāo)準(zhǔn)，同時(shí)，量表所含的分?jǐn)?shù)數(shù)量也會(huì)對(duì)評(píng)分任務(wù)的難度以及評(píng)分結(jié)果的精確性產(chǎn)生重大的影響。另一方面，評(píng)分員在與量表的交互中也發(fā)揮著重要的作用。這是因?yàn)?第一，量表無(wú)法窮盡對(duì)文本特征的描寫(xiě)，而這種描述項(xiàng)與文本之間的“缺口”只能由評(píng)分員來(lái)加以填補(bǔ)。第二，整體量表各部分的權(quán)重以及分項(xiàng)量表各維度間的重疊意味著兩種量表自身

22、都會(huì)給評(píng)分帶來(lái)一定程度的不確定性。而這種不確定性也只能由評(píng)分員來(lái)加以解決。第三，評(píng)分員對(duì)所測(cè)構(gòu)念的理解則又會(huì)極大地影響他們對(duì)量表的接受程度，他們對(duì)整體量表各部分所給予的權(quán)重以及他們對(duì)分項(xiàng)量表各維度間所存重疊的區(qū)分。
　　其次，評(píng)分員與整體量表的交互作用會(huì)對(duì)寫(xiě)作評(píng)分的過(guò)程與結(jié)果產(chǎn)生以下影響:第一，為了對(duì)作文作出整體評(píng)價(jià)，評(píng)分員常常使用有助于建構(gòu)對(duì)文章整體印象的策略，并會(huì)對(duì)文章的總體語(yǔ)言質(zhì)量進(jìn)行更多的關(guān)注。第二，由于整體量表的描述項(xiàng)往

23、往較為模糊，而整體量表又常常缺乏對(duì)各組成部分權(quán)重的清晰規(guī)定，因此這類量表對(duì)評(píng)分員的約束力較小，這就導(dǎo)致了評(píng)分員會(huì)更多地使用非量表相關(guān)的評(píng)分標(biāo)準(zhǔn)，同時(shí)在對(duì)量表的使用和理解上，評(píng)分員之間也容易出現(xiàn)個(gè)體差異。這種差異性不僅反映在他們的文本關(guān)注點(diǎn)上，同時(shí)也反映在他們的嚴(yán)厲度上。第三，由于評(píng)分員傾向于通過(guò)關(guān)注諸如書(shū)法、拼寫(xiě)錯(cuò)誤以及詞匯量等明顯但較為表面的文本特征來(lái)得出對(duì)文章的整體印象，因此他們?nèi)钥赡軐?shí)現(xiàn)較好的自身一致性。但這種做法不僅會(huì)對(duì)測(cè)試的效

24、度產(chǎn)生負(fù)面影響，同時(shí)也可能限制評(píng)分員對(duì)量表所含各分?jǐn)?shù)的使用，導(dǎo)致評(píng)分出現(xiàn)趨中現(xiàn)象。
　　最后，評(píng)分員與分項(xiàng)量表的交互作用會(huì)對(duì)寫(xiě)作評(píng)分的過(guò)程與結(jié)果產(chǎn)生以下影響:第一，由于分項(xiàng)量表要求評(píng)分員對(duì)文章質(zhì)量的某些方面進(jìn)行評(píng)分，因此評(píng)分員容易加強(qiáng)對(duì)這些方面整體質(zhì)量的關(guān)注，并增加對(duì)判斷文章質(zhì)量以及錯(cuò)誤分類策略的使用。第二，由于分項(xiàng)量表的描述項(xiàng)往往較為細(xì)致，且這類量表無(wú)須評(píng)分員對(duì)其組成部分進(jìn)行權(quán)重分配，因此評(píng)分員對(duì)此類量表的理解和使用受量表本身的

25、約束更大。一方面，這會(huì)增加評(píng)分員對(duì)較為困難的分項(xiàng)維度（如連貫性）的關(guān)注，同時(shí)它也會(huì)減少評(píng)分員對(duì)非量表相關(guān)標(biāo)準(zhǔn)的使用。此外，這種約束還有助于保證評(píng)分員的自身一致性。第三，由于評(píng)分員自身對(duì)所測(cè)構(gòu)念的理解不同，同時(shí)他們對(duì)各分項(xiàng)維度間所存重疊的看法也不相同，評(píng)分員對(duì)量表的理解仍然有著明顯的個(gè)體差異。這種差異不僅影響了他們的文本關(guān)注點(diǎn)，同時(shí)也會(huì)加大他們?cè)谠u(píng)分嚴(yán)厲度上的差別。最后，盡管分項(xiàng)量表的使用使得評(píng)分員出現(xiàn)了更多的與考生及分項(xiàng)維度間的交互作用

26、，但這類量表的使用也有助于評(píng)分員對(duì)考生的寫(xiě)作能力作出更為細(xì)致的描述和更加準(zhǔn)確的區(qū)分。
　　除上述理論層面的啟示以外，’本研究的發(fā)現(xiàn)也對(duì)CET6寫(xiě)作測(cè)試的評(píng)分實(shí)踐，以及對(duì)做事測(cè)試的效度研究有一定的研究方法上的啟示。簡(jiǎn)言之，CET6作文評(píng)分需從量表制定，以及評(píng)分員培訓(xùn)兩方面進(jìn)行改進(jìn)。而在做事測(cè)試的研究方法上，本研究的發(fā)現(xiàn)表明:首先，概化理論和多層面Rasch模型具有很好的互補(bǔ)性，宜同時(shí)應(yīng)用于對(duì)做事測(cè)試評(píng)分結(jié)果的分析。其次，盡管有聲思維