基于HMM的教育新聞抽取與分類研究.pdf

1、在科學(xué)技術(shù)飛速發(fā)展的時代，網(wǎng)絡(luò)已成為人們生活中一個不可或缺的部分。網(wǎng)絡(luò)承載了巨大的信息量，面對這些海量的信息，如何從中快速有效地選擇出用戶感興趣的信息內(nèi)容是信息檢索中的一個重要問題。有效信息的篩選可看作是Web信息抽取和分類的過程。
　　本文設(shè)計了一個基于隱馬爾可夫模型的教育新聞網(wǎng)頁信息抽取與分類系統(tǒng)，主要實現(xiàn)了網(wǎng)頁主題信息抽取、特征選擇與提取、文本分類等功能，并將分類結(jié)果存儲在結(jié)構(gòu)化的數(shù)據(jù)庫中，為教育研究與教育實踐管理提供信息支

2、持服務(wù)。
　　首先，介紹了Web信息抽取和文本分類的概念，對常見的技術(shù)做了分析比較，并給出了結(jié)果的評價方法。然后重點介紹了隱馬爾可夫模型及其主要算法。
　　接著，在分析教育新聞網(wǎng)頁的結(jié)構(gòu)特征的基礎(chǔ)上，提出了基于隱馬爾可夫模型的教育新聞網(wǎng)頁信息的抽取方案。先對網(wǎng)頁源文檔進(jìn)行部分噪音過濾，凈化網(wǎng)頁。然后，采用最大字符串匹配算法獲取新聞標(biāo)題，并進(jìn)一步定位新聞主題內(nèi)容。最后，利用隱馬爾可夫模型對粗略定位的主題內(nèi)容進(jìn)行狀態(tài)標(biāo)注，刪除標(biāo)

3、記為“噪音”狀態(tài)的信息，即可得到主題信息。
　　然后，針對教育新聞文本的分類問題，設(shè)計了可用于進(jìn)行分類的隱馬爾可夫模型，并分析了其可行性。結(jié)合詞頻反文檔頻率和卡方計算選擇出特征詞，并用Apriori算法進(jìn)一步挑選出具有強關(guān)聯(lián)性的特征詞組。計算詞、詞組與文本類別的相關(guān)度并選擇相關(guān)度最大的類別作為當(dāng)前文本的類別。
　　最后，實現(xiàn)了基于隱馬爾可夫模型的教育新聞網(wǎng)頁信息抽取與分類系統(tǒng)。從網(wǎng)上下載900多篇網(wǎng)頁和3000篇文檔用于測試