基于條件隨機(jī)場(chǎng)模型的文本分類(lèi)研究.pdf

1、隨著電子文本信息的與日俱增，如何有效地對(duì)該類(lèi)信息進(jìn)行組織和管理，是現(xiàn)代信息技術(shù)所面臨的問(wèn)題。
　　 文本分類(lèi)作為其中的一種重要的技術(shù)手段，已逐漸成為信息研究領(lǐng)域的一個(gè)主要方向。而中文分詞作為影響中文文本分類(lèi)效果的一個(gè)重要因素，也是研究的熱點(diǎn)問(wèn)題。
　　 由于在句中，中文詞語(yǔ)間沒(méi)有天然的間隔，要抽取它們作為信息就須先進(jìn)行分詞。中文分詞方法大致分為基于詞典的分詞方法與基于統(tǒng)計(jì)的分詞方法兩類(lèi)。
　　 基于詞典的分詞方法

2、具有相對(duì)較快的切分速率，但在分詞過(guò)程中存在著切分歧義的問(wèn)題；基于統(tǒng)計(jì)的方法具有較高的準(zhǔn)確度，但切分速率較慢。通過(guò)對(duì)兩者的分析，文中提出了一種結(jié)合條件隨機(jī)場(chǎng)統(tǒng)計(jì)模型的詞典分詞方法。該方法利用條件隨機(jī)場(chǎng)模型對(duì)可能產(chǎn)生歧義的位置進(jìn)行標(biāo)注，以此來(lái)處理歧義問(wèn)題，提高分詞效果。基于該方法的分詞系統(tǒng)融合了兩者的特點(diǎn)，既具有一定的速度，又具有較高準(zhǔn)確度。文中介紹了該系統(tǒng)的實(shí)現(xiàn)與試驗(yàn)，在試驗(yàn)中發(fā)現(xiàn)不足并加以改進(jìn)。
　　 對(duì)于文本分類(lèi)，其定義為：將