基于個(gè)性化搜索的網(wǎng)頁(yè)特征提取相關(guān)技術(shù)的研究.pdf

1、隨著網(wǎng)絡(luò)信息量成爆炸式地增長(zhǎng)，人們要在信息海洋中找尋自己需要的信息是十分困難的。這些信息大多數(shù)是以網(wǎng)頁(yè)文本的形式存放的，它們種類繁雜，缺乏組織，現(xiàn)有的以搜索引擎為代表的網(wǎng)絡(luò)信息系統(tǒng)難以為每個(gè)用戶都提供滿意的服務(wù)。如何將搜集的信息資源合理組織，如何從大量的信息中，針對(duì)用戶不同的興趣需求，返回用戶真正需要的信息，從而實(shí)現(xiàn)個(gè)性化搜索，成為目前研究的重要課題。所謂個(gè)性化搜索指的是通過收集和分析用戶信息來學(xué)習(xí)用戶的興趣和行為，從而實(shí)現(xiàn)主動(dòng)推薦的目

2、的搜索。
　　為了準(zhǔn)確地表示用戶興趣，應(yīng)該對(duì)用戶訪問過并且感興趣的網(wǎng)頁(yè)特征進(jìn)行準(zhǔn)確地描述。即希望能用簡(jiǎn)潔而有代表性的特征描述網(wǎng)頁(yè)內(nèi)容。因此，對(duì)于網(wǎng)頁(yè)信息描述的準(zhǔn)確與否將直接影響用戶興趣描述的準(zhǔn)確與否，這是個(gè)性化服務(wù)的核心問題。然而，對(duì)于網(wǎng)頁(yè)信息的描述方法卻很少有人系統(tǒng)地研究，本文針對(duì)網(wǎng)頁(yè)特征的描述方法進(jìn)行了探討，主要進(jìn)行了以下三個(gè)方面的研究工作：
　?、倩谟脩襞d趣的網(wǎng)頁(yè)正文的提取。目前網(wǎng)頁(yè)的形式多種多樣，包含了大量與網(wǎng)頁(yè)主

3、題無(wú)關(guān)的內(nèi)容，如廣告、圖片、無(wú)關(guān)鏈接等，這些與網(wǎng)頁(yè)主題無(wú)關(guān)的內(nèi)容會(huì)嚴(yán)重影響搜索引擎等Web服務(wù)的效果。本文通過對(duì)網(wǎng)頁(yè)HTML的語(yǔ)法分析，在基于HTML元素的網(wǎng)頁(yè)正文提取算法基礎(chǔ)上，基于啟發(fā)式規(guī)則對(duì)網(wǎng)頁(yè)正文提取方法進(jìn)行了改進(jìn)，得到了基于超鏈接到無(wú)網(wǎng)頁(yè)正文提取算法，測(cè)試結(jié)果表明這種方法能有效地得到大部分HTML網(wǎng)頁(yè)的正文部分。
　?、诨谂d趣詞典的網(wǎng)頁(yè)分詞技術(shù)。傳統(tǒng)的機(jī)械分詞的詞典數(shù)據(jù)量龐大，分詞系統(tǒng)的負(fù)荷很大。針對(duì)網(wǎng)絡(luò)用戶的興趣不同

4、，本文利用興趣詞典這一新概念，通過對(duì)不同用戶瀏覽過的網(wǎng)頁(yè)集進(jìn)行分詞處理，分別為每個(gè)用戶建立不同的興趣詞典。該詞典存放于客戶端，從而將網(wǎng)頁(yè)關(guān)鍵詞提取的工作由服務(wù)器端轉(zhuǎn)移到客戶端，節(jié)省了系統(tǒng)開支，并且通過實(shí)驗(yàn)表明基于用戶興趣詞典的網(wǎng)頁(yè)關(guān)鍵詞提取在保持分詞精度的同時(shí)可以增強(qiáng)系統(tǒng)的實(shí)時(shí)性，降低了網(wǎng)頁(yè)描述的維度。
　?、郾疚囊允噶靠臻g模型為Web文本的表示方法，在網(wǎng)頁(yè)標(biāo)簽分析的基礎(chǔ)上，在網(wǎng)頁(yè)描述時(shí)結(jié)合了網(wǎng)頁(yè)正文中“多詞長(zhǎng)句”特征，對(duì)常用的詞