漢語詞法分析平臺的構(gòu)建.pdf

1、隨著現(xiàn)代化信息技術(shù)的不斷發(fā)展，計算機的數(shù)量快速增加，互聯(lián)網(wǎng)內(nèi)的信息量極速膨脹，計算機技術(shù)已經(jīng)和人們的日常生活息息相關(guān)。自然語言處理是計算機科學(xué)領(lǐng)域一個重要的研究課題，它的研究對象是人們?nèi)粘Ｊ褂玫恼Z言，通過對自然語言的研究和處理，實現(xiàn)自然語言和計算機之間的互相理解和正常通信。
　　詞法分析是自然語言處理領(lǐng)域一個重要的問題，大部分機器翻譯的問題都需要進(jìn)行詞法分析。目前，對于詞法分析的研究和實現(xiàn)大都局限在實驗層次，而辦公移動化、資源共享

2、化的互聯(lián)網(wǎng)環(huán)境決定了一個在線共享的實用性平臺更具有現(xiàn)實意義?；ヂ?lián)網(wǎng)上也已經(jīng)出現(xiàn)了一些實用性的詞法分析平臺，能夠?qū)崿F(xiàn)基本的分詞和詞性標(biāo)注的功能，但由于源碼不可修改、詞性標(biāo)注集不同等原因，無法為今后的相關(guān)性研究工作提供支持。
　　本文在實驗室研究的基礎(chǔ)上，結(jié)合實驗室的分詞和詞性標(biāo)注源碼，獨立開發(fā)了一個詞法分析的平臺。在平臺中，加入了人工干預(yù)的部分，用戶可以對分詞結(jié)果進(jìn)行修正，系統(tǒng)會定時地啟動線程對修正的結(jié)果掃描，找到修正結(jié)果中含有的新

3、詞用來擴充新詞詞典。對于每個用戶，還可以申請臨時詞典，將需要使用的新詞添加到臨時詞典中，暫時性地自定義分詞結(jié)果。用戶在提交分詞請求的時候，可以選擇原始分詞、使用新詞詞典分詞和使用臨時詞典分詞等多種分詞方式。詞性標(biāo)注方面，用戶可以對句直接標(biāo)注，也可以使用分詞的結(jié)果進(jìn)行標(biāo)注，修正的詞性標(biāo)注的結(jié)果也可以為今后的標(biāo)注效果的提高提供數(shù)據(jù)依據(jù)。
　　本文通過小概率事件置入的規(guī)則，彌補了統(tǒng)計方法上的局限性，使得統(tǒng)計和規(guī)則更好地融合，接口的公開化