面向新聞領(lǐng)域的文本數(shù)據(jù)獲取系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、文本的自動分類是在對文本內(nèi)容分析的基礎(chǔ)上把文本分配給一個或多個預(yù)定的類別。在信息如此膨脹和信息源如此多樣的時代，由人工搜索來獲取信息，其操作過程已變得非常繁瑣，其速度和效率極低，信息質(zhì)量也得不到保證。因此，快速、有效地獲取主題相關(guān)信息并進行分類存儲已成為目前信息處理研究的熱點。
　　 本文從信息管理系統(tǒng)的角度介紹了面向新聞領(lǐng)域的文本數(shù)據(jù)獲取系統(tǒng)的設(shè)計和實現(xiàn)，該系統(tǒng)集成了信息管理與信息獲取。一方面，系統(tǒng)提供了友好的新聞信息的管理界

2、面，另一方面，系統(tǒng)提供了一種新聞文本信息的自動獲取功能，可自動從網(wǎng)絡(luò)抓取新聞信息并歸類存儲。本文在研究網(wǎng)絡(luò)爬蟲技術(shù)、網(wǎng)頁過濾技術(shù)，文本表示方法，中文文本分類方法的基礎(chǔ)上，介紹了Web文本新聞信息自動獲取功能的設(shè)計和實現(xiàn)。爬蟲程序把從新聞網(wǎng)站抓取的新聞信息以文本的形式保存到本地的存儲器中，然后系統(tǒng)采用特定的網(wǎng)頁內(nèi)容提取技術(shù)從抓取的文本網(wǎng)頁中提取新聞內(nèi)容，得到新聞的標(biāo)題和正文信息等，最后使用特定的文本特征提取技術(shù)提取新聞的特征信息，并使用基