高考?xì)v史簡(jiǎn)答題自動(dòng)評(píng)價(jià)方法研究.pdf

1、高考是全國(guó)范圍內(nèi)最重要的考試之一，試卷評(píng)閱質(zhì)量是決定考生得分的關(guān)鍵環(huán)節(jié)。高考題目中的主觀題包括簡(jiǎn)答題、論述題、作文題等多個(gè)類型，目前全部由人工閱卷評(píng)分。但該過(guò)程會(huì)受到多個(gè)因素的影響，例如閱卷人對(duì)所判科目的理解全面程度，答題人所列要點(diǎn)清晰程度、卷面整潔程度等，并且閱卷工作量巨大，將耗費(fèi)一定的人力和時(shí)間。因此我們考慮使用自然語(yǔ)言處理方法初步探索用計(jì)算機(jī)閱卷的可能性。本題目實(shí)質(zhì)上是研究簡(jiǎn)答題的學(xué)生答案與標(biāo)準(zhǔn)答案間的文本相似度和學(xué)生答案得分之間

2、的聯(lián)系，而文本間的匹配可以通過(guò)建立多種不同的模型來(lái)實(shí)現(xiàn)。本文主要從以下幾個(gè)方面探索了學(xué)生答案和標(biāo)準(zhǔn)答案間的相似度：
　　第一，計(jì)算文本間的N-gram共現(xiàn)準(zhǔn)確率、召回率等是基本思路。我們分析總結(jié)了BLEU和ROUGE所使用的N-gram共現(xiàn)計(jì)算方法，并將它們應(yīng)用到了簡(jiǎn)答題自動(dòng)評(píng)價(jià)問(wèn)題中。我們使用了spearman秩相關(guān)系數(shù)在答案數(shù)據(jù)集上檢驗(yàn)N-gram共現(xiàn)特征與數(shù)據(jù)得分之間的相關(guān)性。最后通過(guò)傳統(tǒng)的機(jī)器學(xué)習(xí)方法——排序支持向量機(jī)(R

3、anking supporting vector machine)在這些特征上篩選得到能使模型排序效果最好的特征集合。
　　第二，認(rèn)為僅靠N-gram共現(xiàn)特征是不夠的。淺層語(yǔ)言學(xué)知識(shí)包括詞法、句法和語(yǔ)義三個(gè)方面，其中詞法和語(yǔ)義特征都是需要進(jìn)一步探索的。文本是由許多不同的詞組成，詞性不同的詞在句子中的重要程度也不同。顯然，在學(xué)生答案與標(biāo)準(zhǔn)答案間共現(xiàn)的詞中動(dòng)詞、名詞可能會(huì)比其他詞性成分重要。因此我們將計(jì)算基于詞性的詞匯共現(xiàn)特征。另外，

4、我們還可以將名詞進(jìn)一步延伸為特定的歷史學(xué)相關(guān)專有名詞，也具有一定重要性。語(yǔ)義相似度上我們應(yīng)用了信息檢索中查詢與文檔間的相似度計(jì)算方法。
　　第三，深度學(xué)習(xí)已逐漸從最開始的計(jì)算詞的分布表示逐漸發(fā)展到計(jì)算包含更多語(yǔ)義信息的短語(yǔ)、句子、文本等。詞向量一個(gè)最基本的應(yīng)用是計(jì)算兩個(gè)詞語(yǔ)的語(yǔ)義相似度。相應(yīng)的，當(dāng)我們根據(jù)一個(gè)完整的語(yǔ)料庫(kù)訓(xùn)練出的模型得到的句子向量，也應(yīng)能夠給出兩個(gè)句子的語(yǔ)義相似度。我們利用深度學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)的方法將學(xué)生答案和標(biāo)準(zhǔn)答