人工與軟件語篇評(píng)估間的相關(guān)關(guān)系研究——以英語議論文語篇多維度評(píng)估為例.pdf

1、長(zhǎng)期以來人工評(píng)分在作文質(zhì)量評(píng)價(jià)中扮演著最重要的角色。隨著大數(shù)據(jù)和語料庫(kù)的出現(xiàn)，大量的自動(dòng)文本分析軟件得到開發(fā)并不斷改進(jìn)完善，使得利用軟件給作文進(jìn)行自動(dòng)評(píng)分以及對(duì)英語寫作中多個(gè)文本特征的量化研究成為現(xiàn)實(shí)。似乎人工和軟件語篇評(píng)估的結(jié)合將會(huì)是一種趨勢(shì)，兩者的結(jié)合可以使學(xué)生作文質(zhì)量的評(píng)價(jià)變得更加合理，并在一定程度上體現(xiàn)了傳統(tǒng)教學(xué)模式和現(xiàn)代網(wǎng)絡(luò)技術(shù)優(yōu)勢(shì)的融合。
　　Coh-Metrix作為一個(gè)先進(jìn)的自動(dòng)文本分析器，擁有大量的測(cè)量指標(biāo)，可以更

2、加全面地考察作文的文本特征。近年來，不少研究使用Coh-Metrix來檢驗(yàn)詞頻，詞匯多樣性，指稱銜接，連接詞以及句法復(fù)雜性等多個(gè)文本特征。然而，使用Coh-Metrix來檢驗(yàn)文本特征和寫作質(zhì)量之間的關(guān)系的研究還處在初級(jí)階段，值得對(duì)這一領(lǐng)域進(jìn)行更加深入的探索。句酷批改網(wǎng)（以下簡(jiǎn)稱句酷）在英語作文自動(dòng)評(píng)價(jià)方面已經(jīng)獲得了較高的認(rèn)可度。句酷的出現(xiàn)給傳統(tǒng)的英語寫作教學(xué)帶來了機(jī)會(huì)和挑戰(zhàn)。
　　寫作是英語教學(xué)中一項(xiàng)非常重要的語言技能。英語寫作質(zhì)

3、量是評(píng)價(jià)學(xué)習(xí)者語言能力的一項(xiàng)重要因素，它可以由寫作中的文本特征體現(xiàn)出來。早期的許多研究更多關(guān)注的是一個(gè)文本特征或一類文本特征的研究，很少有研究同時(shí)對(duì)多個(gè)文本特征以及這些特征與寫作質(zhì)量的關(guān)系進(jìn)行探索和分析。目前還沒有發(fā)現(xiàn)同時(shí)使用句酷和Coh-Metrix這兩個(gè)文本分析器對(duì)英語議論文寫作中的文本特征進(jìn)行相關(guān)研究的論文。
　　本研究使用句酷和Coh-Metrix這兩個(gè)自動(dòng)文本分析軟件，以中國(guó)學(xué)生英語筆語語料庫(kù)(文秋芳等，2009)中的5

4、50篇議論文為研究對(duì)象，就詞匯多樣性，句法復(fù)雜性和語篇正式性這三項(xiàng)文本特征與寫作質(zhì)量之間的關(guān)系進(jìn)行了多維度分析。首先，筆者從語料庫(kù)中隨機(jī)選出550篇議論文放進(jìn)句酷進(jìn)行自動(dòng)評(píng)分，然后再分別邀請(qǐng)兩位富有經(jīng)驗(yàn)的專業(yè)老師依據(jù)一定的評(píng)分標(biāo)準(zhǔn)(Jacobs et al.，1981)對(duì)這550篇議論文進(jìn)行評(píng)分，把兩位老師的平均分視為人工評(píng)分的最終得分，再結(jié)合句酷的評(píng)分結(jié)果分出人工評(píng)分的高分組和句酷評(píng)分的高分組(分?jǐn)?shù)大于或等于80且小于90)以及人工評(píng)

5、分的低分組和句酷評(píng)分的低分組（分?jǐn)?shù)大于或等于70且小于80），為了公平起見，每組均隨機(jī)選193篇文章。然后筆者使用Coh-Metrix對(duì)這四組文章進(jìn)行自動(dòng)分析，獲得本論文要檢驗(yàn)的16項(xiàng)文本語言特征的指標(biāo)的量化數(shù)據(jù)。最后，使用統(tǒng)計(jì)工具SPSS19.0統(tǒng)計(jì)分析軟件通過單因素方差分析、皮爾遜相關(guān)系數(shù)和線性回歸等對(duì)所有數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。
　　通過數(shù)據(jù)分析，得出以下結(jié)論:就這三項(xiàng)文本特征而言，人工評(píng)分和句酷評(píng)分的相同點(diǎn)在于:(1)名詞詞組前

6、使用的修飾語與寫作質(zhì)量呈現(xiàn)顯著正相關(guān)，語篇信息量與寫作質(zhì)量顯著負(fù)相關(guān)，詞匯具體度與作文成績(jī)體現(xiàn)強(qiáng)正相關(guān)關(guān)系。(2)所有單詞的最小編輯距離和詞元的最小編輯距離均與寫作質(zhì)量不相關(guān)。(3)指稱語篇銜接和深度語篇銜接均與寫作成績(jī)無顯著相關(guān)。不同點(diǎn)體現(xiàn)在:(1)人工評(píng)估的詞匯多樣性與作文分?jǐn)?shù)不相關(guān)，而句酷評(píng)估的詞匯多樣性與寫作成績(jī)顯著正相關(guān)。(2)人工評(píng)估的句法復(fù)雜性中主動(dòng)詞前的單詞數(shù)，名詞詞組前面修飾語，詞類句法距離，相鄰句子句法相似度和段落內(nèi)

7、所有句子句法相似度與寫作質(zhì)量不相關(guān)，而句酷評(píng)估的句法復(fù)雜性中主動(dòng)詞前的單詞數(shù)，名詞詞組前面修飾語，詞類句法距離，相鄰句子句法相似度和段落內(nèi)所有句子句法相似度均與寫作質(zhì)量顯著相關(guān)。(3)人工評(píng)估的語篇正式性與寫作質(zhì)量顯著負(fù)相關(guān)，而句酷評(píng)估的語篇正式性與寫作質(zhì)量不相關(guān)。此外，人工評(píng)估的語篇正式性中句法簡(jiǎn)單性與寫作成績(jī)不相關(guān)，而句酷評(píng)估的語篇正式性中句法簡(jiǎn)單性與寫作質(zhì)量顯著負(fù)相關(guān)。
　　基于以上提到的結(jié)果，本研究建議英語學(xué)習(xí)者應(yīng)該意識(shí)到