文本信息預(yù)處理技術(shù)的研究.pdf

1、計算機和Internet的普及，帶來了現(xiàn)代社會的信息爆炸，每天都會有海量的信息需要處理，信息的存在方式和形式可以歸納為四個“多”：多媒體，多語言，多文種，多格式。在眾多的信息中，文本信息又占了很大的比重。對自然語言文本信息的處理包括文本信息的分類，檢索，和濃縮等。目前，在這幾個方面的研究都取得了很大的進(jìn)展，產(chǎn)生了許多可喜的成果。但是，這些成果的研究大都是建立在比較理想條件下的，文本信息的形式比較單一，格式比較規(guī)范，文本中的一些特征信息比

2、較清晰容易識別。而現(xiàn)實中的各種文本信息，形式多樣化，格式不都很規(guī)范，而且一些重要的特征信息比較模糊，這些稱為文本信息的噪聲和變形。在將實驗室的研究成果產(chǎn)品化，推向市場的時候，就會面臨這樣一個問題：如何去除和減弱文本信息噪聲和變形的影響。因此，本文提出了文本信息預(yù)處理的概念，即將現(xiàn)實中各種形式，各種格式的文本信息轉(zhuǎn)化為適合于文本信息處理的，形式單一，格式規(guī)范，特征清晰的文本。 這個課題也是863項目“中英文自動摘要系統(tǒng)”的一部分，

3、得到了國家科委863項目組的資助（項目編號863—306—ZD03—04—1）。同時，該課題是國家自然科學(xué)基金（60082003）的資助項目。 本文從多文件類型的處理，多文本格式的規(guī)整，以及文本中語義概念塊，句子，篇章結(jié)構(gòu)的劃分和描述等幾個方面對文本的預(yù)處理工作作了研究。本文主要的研究成果包括： （1）多種文件類型的讀取。本文介紹了讀取HTML和Word類文件中文本的算法。特別是讀取HTML中主體文本的算法，由于采用了H

4、TML標(biāo)記配對和交叉元素消除的算法，很好地解決了HTML中標(biāo)記的交叉嵌套和不配對的問題，具有一定的創(chuàng)新性。本文還用面向?qū)ο蟮姆椒ㄌ岢隽艘粋€可擴充的文件讀取模塊，用于方便地擴充對新的文件類型的處理。 （2）多文本格式的規(guī)整化。本文提出了一種自動化的規(guī)整化算法，用于處理各種格式的文本，實踐證明，該算法在一般情況下能達(dá)到較好的效果?？紤]到文本格式規(guī)整化算法的發(fā)展，本文還用面向?qū)ο蟮姆椒ㄌ岢隽艘粋€可擴充的文本格式規(guī)整化模塊，可以方便地擴

5、充新的算法。為了將文本的規(guī)整化模塊與對文本進(jìn)行處理的模塊獨立開來，文本還提出了一種文本格式的形式化描述方法，并用XML將之實現(xiàn)。該描述方法以句子為基本單位對文本進(jìn)行描述，方便了后續(xù)文本處理的工作，也為描述文本規(guī)整化的結(jié)果提供了手段。 （3）一種自學(xué)習(xí)的語義概念劃分方法。在分析現(xiàn)有的分詞系統(tǒng)的基礎(chǔ)上，本文還對語義概念塊的劃分作了研究，提出了一種詞庫的自動維護(hù)模型，并進(jìn)而提出了一種自學(xué)習(xí)的語義概念塊的劃分方法。詞庫的自動維護(hù)模型就是

6、通過對大量語料的分析，從中發(fā)現(xiàn)和提取新的概念，并將之補充到詞庫中，主要采用高頻詞提取和規(guī)則篩選的方法。自學(xué)習(xí)的語義概念劃分方法就是每次在對文本劃分語義概念塊之后，將劃分的結(jié)果存入語料庫中，積累了一定的量以后再對語料庫進(jìn)行分析，從中提取新的概念，補充到詞庫中，這樣能夠使系統(tǒng)逐漸適應(yīng)各種新出現(xiàn)的概念，并能夠適應(yīng)各個專業(yè)領(lǐng)域?qū)υ~庫的需要，提高語義概念劃分的準(zhǔn)確度。 （4）一種基于高頻字串提取的字串交叉模式匹配算法。字串交叉模式匹配就是