文本分類語料庫自動構(gòu)建系統(tǒng)的研究與改進.pdf

1、語料庫與自然語言信息處理有著相輔相成的關(guān)系，語料庫是用統(tǒng)計語言模型方法處理自然語言的基礎(chǔ)資源，它的建設(shè)和應用一直是語言處理領(lǐng)域的重要論題之一。目前我國在中文語料庫的建設(shè)和應用上取得了不少的成果，其中一些也可以利用在文本分類領(lǐng)域。但隨著信息處理技術(shù)的快速發(fā)展，語言信息處理領(lǐng)域內(nèi)的各類應用需要大量的專業(yè)性強的文本分類語料庫，而傳統(tǒng)的語料庫構(gòu)建方法在時效性、專業(yè)性等方面并不能完全滿足這些需求，因此文本分類語料庫的構(gòu)建已經(jīng)成為一個十分重要的研究

2、課題。
　　 本文主要研究并優(yōu)化了一種自動構(gòu)建中文文本分類語料庫的方法，具體工作主要包括以下幾個方面：
　　 1、分析研究了一個計算機語料庫自動構(gòu)建原型系統(tǒng)，熟悉理解了計算機語料庫的相關(guān)理論以及該自動構(gòu)建系統(tǒng)的設(shè)計思想與具體實現(xiàn)方法，在研究分析的基礎(chǔ)上總結(jié)出了針對該原型系統(tǒng)的一些優(yōu)化思路。
　　 2、研究并實現(xiàn)了一種基于網(wǎng)頁密度特征的正文抽取方法。該方法通過將網(wǎng)頁解析成文本塊集，并計算所有文本塊的密度特征后，使用

3、決策樹算法構(gòu)建文本塊的分類預測模型，然后根據(jù)這個分類模型識別分類網(wǎng)頁的文本塊，從而過濾出識別為正文塊的文本塊，構(gòu)建成網(wǎng)頁的正文信息。
　　 3、分析了網(wǎng)頁消重的相關(guān)技術(shù)及現(xiàn)有的網(wǎng)頁消重算法并簡單比較了它們的優(yōu)缺點，最后研究了一個基于Shingling的網(wǎng)頁消重改進方法。該改進方法通過抽取網(wǎng)頁的正文信息并轉(zhuǎn)換成相應的文本文檔，再利用詞性屬性提取出有實際語義的實詞來表示文檔，最后根據(jù)表示文檔的特征項集合的元素個數(shù)之間的比值將待計算相