文本處理技術(shù)及應(yīng)用.pdf

1、文本摘要、分類、聚類和檢索是文本處理領(lǐng)域中的重要技術(shù)。本文結(jié)合若干具體科研項目，在上述幾個方面進(jìn)行了研究和探索。在文本摘要技術(shù)方面，本文實現(xiàn)了一個簡單的文本摘要工具，分析了相應(yīng)算法和實驗結(jié)果，并對存在的問題進(jìn)行了討論。在文本分類技術(shù)方面，本文實現(xiàn)了一個基于多詞頻關(guān)聯(lián)規(guī)則的文本分類器，并對實現(xiàn)方案提出了改進(jìn)，對原方案和改進(jìn)方案進(jìn)行了實驗比對和實驗分析。該分類器使用的關(guān)聯(lián)規(guī)則考慮了文本數(shù)據(jù)中關(guān)鍵字重復(fù)出現(xiàn)的事實，并對訓(xùn)練階段產(chǎn)生的關(guān)聯(lián)規(guī)則進(jìn)

2、行修剪，采用樹形結(jié)構(gòu)來組織關(guān)聯(lián)規(guī)則，分類的質(zhì)量和速度均較好。在文本聚類技術(shù)方面，本文設(shè)計了一個針對BBS語料的聚類算法，用來對BBS上討論的熱點話題進(jìn)行識別和跟蹤。BBS語料極其不規(guī)范并且數(shù)據(jù)量巨大，故要求算法具有良好的健壯性和良好的時間效率。實驗結(jié)果表明基于該算法的系統(tǒng)符合上述要求。在文本檢索技術(shù)方面，本文將檢索技術(shù)應(yīng)用于生物信息學(xué)的序列比對領(lǐng)域。生物序列可以看成全文的一種，本文將全文檢索的互關(guān)聯(lián)后繼樹模型結(jié)合生物序列的精確局部比對算