英語口語計(jì)算機(jī)輔助評分的監(jiān)控設(shè)計(jì)及其評分效度和信度研究.pdf

1、計(jì)算機(jī)測評系統(tǒng)中評分方式有兩種——計(jì)算機(jī)輔助評分和計(jì)算機(jī)自動(dòng)化評分。通過調(diào)研和實(shí)驗(yàn)測量發(fā)現(xiàn)計(jì)算機(jī)輔助評分在實(shí)踐應(yīng)用中存在諸如評分趨中、快速評分等評分缺陷;效度和信度是考試和教育心理測量質(zhì)量評價(jià)的基本要求，自動(dòng)化評分雖然已經(jīng)投入實(shí)踐應(yīng)用，但其效度、信度是否滿足教育測量質(zhì)量評價(jià)的基本要求需實(shí)驗(yàn)驗(yàn)證。
　　 本文首先調(diào)研分析國內(nèi)外口語測評系統(tǒng)中評分缺陷，對作者所在單位和科大訊飛聯(lián)合研發(fā)的大學(xué)英語視聽說智能測試系統(tǒng)的評分缺陷做多維度預(yù)估

2、，其次設(shè)計(jì)教育實(shí)驗(yàn)來驗(yàn)證預(yù)估并發(fā)現(xiàn)新的評分缺陷，同時(shí)對參與實(shí)驗(yàn)的師生進(jìn)行訪談?wù){(diào)研，依據(jù)實(shí)驗(yàn)所獲得的有效數(shù)據(jù)與數(shù)據(jù)分析結(jié)果，從評分行為、評分方式和評分時(shí)間三個(gè)方面設(shè)計(jì)評分監(jiān)控，從而提高計(jì)算機(jī)英語口語測試的效度和信度。再次對系統(tǒng)自動(dòng)化評分和教育測量理論進(jìn)行調(diào)研分析，設(shè)計(jì)英語口考試卷并完成實(shí)驗(yàn)，通過對實(shí)驗(yàn)數(shù)據(jù)的經(jīng)典信度分析和經(jīng)典校標(biāo)效度分析，驗(yàn)證大學(xué)英語視聽說智能測試系統(tǒng)實(shí)踐應(yīng)用的可行性。
　　 研究結(jié)果表明:(1)快速評分現(xiàn)象普遍，

3、實(shí)驗(yàn)和師生訪談結(jié)果表明以錄音時(shí)間上下浮動(dòng)1/4，評分的平均時(shí)間和口語答題時(shí)間一致。(2)評分持續(xù)時(shí)間低于3小時(shí)，評分過程不存在疲勞評分。(3)拖動(dòng)滾動(dòng)條現(xiàn)象伴隨大幅度拖動(dòng)和反復(fù)性拖動(dòng)行為，滾動(dòng)條的拖動(dòng)幅度在1/3總時(shí)間以內(nèi)，拖動(dòng)次數(shù)在3次以內(nèi)。(4)訪談結(jié)果表明按比例抽取復(fù)評可提高評分效度和信度，兩位老師評分的方式需要改進(jìn)。(5)評分中有參考前題成績評分、反復(fù)性修改成績、先評分后聽錄音、不聽錄音直接評分現(xiàn)象，有多個(gè)小題的題型更容易出現(xiàn)該