基于XML的文本結(jié)構(gòu)信息抽取與聚類研究.pdf

1、網(wǎng)絡(luò)信息檢索面臨大量半結(jié)構(gòu)化XML及非結(jié)構(gòu)化自由文本的混合大數(shù)據(jù)，如何快速、準確、統(tǒng)一地處理這些數(shù)據(jù)是信息處理領(lǐng)域研究的熱點。與普通文本文檔相比，XML帶有一定的結(jié)構(gòu)和語義信息，因此基于XML的數(shù)據(jù)集成和深度利用比起普通文本具有描述精確、表現(xiàn)形式豐富等特點，但同時也使得傳統(tǒng)的自然語言處理和數(shù)據(jù)挖掘等技術(shù)不能直接應(yīng)用。本文工作圍繞基于XML的文本結(jié)構(gòu)抽取和聚類技術(shù)涉及到的一系列關(guān)鍵問題展開，主要包括以下內(nèi)容:
　　(1)給出了對自由

2、文本進行層次結(jié)構(gòu)抽取的統(tǒng)計模型。針對傳統(tǒng)的信息抽取方法大多忽略文本內(nèi)在語義以及標注結(jié)果單層、缺少語境等問題，分別從通用的基于隱馬爾科夫模型和面向領(lǐng)域的基于條件隨機場模型對自由文本的層次結(jié)構(gòu)信息抽取進行了研究，通過對文本基于語義的結(jié)構(gòu)抽取并借助XML的再現(xiàn)，使得數(shù)據(jù)具有豐富的表達形式和精確的語義描述。
　　(2)提出了一種基于頻率和路徑的XML結(jié)構(gòu)相似度計算方法。針對XML的結(jié)構(gòu)特征以及傳統(tǒng)相似度計算方法不能直接應(yīng)用于XML文檔的問

3、題，在路徑匹配上采用了一種最長公共子序列的匹配方法，提高了對路徑節(jié)點語義和語境信息的捕獲能力;在相似度計算中引入了頻率和位置權(quán)重，改善了對語境識別的敏感度，從而提高了XML結(jié)構(gòu)相似度計算的性能。
　　(3)提出了一種基于張量的XML特征降維及綜合相似度計算方法。由于XML內(nèi)容和結(jié)構(gòu)并非獨立，內(nèi)容影響結(jié)構(gòu)，結(jié)構(gòu)作用內(nèi)容，給出了針對XML文檔的張量表示并采用基于最大互信息的方法對其進行降維，從非線性的角度設(shè)計了一種將XML結(jié)構(gòu)和內(nèi)容相

4、融合的綜合相似度度量方法，確定了結(jié)構(gòu)和內(nèi)容的內(nèi)在聯(lián)系和共同作用的方式，提高了XML綜合相似度計算的性能。
　　(4)給出了一種簡單快速的增量XML聚類算法。針對傳統(tǒng)的增量聚類方法不能直接利用XML文檔的特征以及存在的問題，從XML文檔的構(gòu)成作為出發(fā)點，給出了一種有效的鄰域中心聚類的方法，直接使用XML文檔的結(jié)構(gòu)或綜合相似度度量，其聚類結(jié)果具有對隨機初始中心的選擇不敏感、不規(guī)則聚簇形狀以及過濾噪聲等優(yōu)點。
　　本文工作內(nèi)容適合