面向個性化服務(wù)的網(wǎng)頁特征描述研究及應(yīng)用.pdf

1、作為一個廣泛分布的全球信息服務(wù)中心，萬維網(wǎng)集中了海量的信息，其中大多數(shù)是以網(wǎng)頁文本的形式存放的。這些文本信息種類繁雜，缺乏組織，現(xiàn)有的以搜索引擎為代表的網(wǎng)絡(luò)信息系統(tǒng)難以為每個用戶都提供滿意的服務(wù)。個性化服務(wù)的概念應(yīng)運而生。所謂個性化服務(wù)指的是通過收集和分析用戶信息來學(xué)習(xí)用戶的興趣和行為，從而實現(xiàn)主動推薦的目的。
　　為了準(zhǔn)確地表示用戶興趣，應(yīng)該對用戶訪問過并且感興趣的網(wǎng)頁特征進行準(zhǔn)確地描述。即希望能用簡潔而有代表性的特征描述網(wǎng)頁內(nèi)

2、容。因此，對于網(wǎng)頁信息描述的準(zhǔn)確與否將直接影響用戶興趣描述的準(zhǔn)確與否，這是個性化服務(wù)的核心問題。然而，對于網(wǎng)頁信息的描述方法卻很少有人系統(tǒng)地研究，本文針對網(wǎng)頁特征的描述方法作了研究，完成了以下三個方面的研究工作：
　?、倬W(wǎng)頁正文的提取。目前網(wǎng)頁的形式多種多樣，包含了大量與網(wǎng)頁主題無關(guān)的內(nèi)容，如廣告、圖片、無關(guān)鏈接等，這些與網(wǎng)頁主題無關(guān)的內(nèi)容會嚴(yán)重影響搜索引擎等Web服務(wù)的效果。本文通過對網(wǎng)頁HTML的語法分析，基于啟發(fā)式規(guī)則提出了

3、兩種網(wǎng)頁正文提取方法：HTML元素選擇刪除法和超鏈接判斷正文過濾法，測試表明這兩種方法都能有效地得到大部分HTML網(wǎng)頁的正文部分。
　?、诰W(wǎng)頁關(guān)鍵詞提取。傳統(tǒng)的機械分詞的分詞詞典數(shù)據(jù)量龐大，分詞系統(tǒng)的負荷很大，針對網(wǎng)絡(luò)用戶的興趣不同，本文提出個性化詞典這一新概念，通過對不同用戶瀏覽過的網(wǎng)頁集進行分詞處理，分別為每個用戶建立不同的個性化詞典。該詞典存放于客戶端，從而將網(wǎng)頁關(guān)鍵詞提取的工作由服務(wù)器端轉(zhuǎn)移到客戶端，節(jié)省了系統(tǒng)開支，并且通

4、過實驗表明基于個性化詞典的網(wǎng)頁關(guān)鍵詞提取在保持分詞精度的同時可以增強系統(tǒng)的實時性，降低了網(wǎng)頁描述的維度。
　　③網(wǎng)頁特征詞的權(quán)重改進計算。TF-IDF公式是常用的詞語權(quán)重計算公式，但是TF-IDF公式是一種經(jīng)驗公式，它并不適用于任何情況下。本文以矢量空間模型為Web文本的表示方法，提出了一種改進的TF-IDF網(wǎng)頁特征詞加權(quán)方法。該方法在網(wǎng)頁標(biāo)簽分析的基礎(chǔ)上，在網(wǎng)頁描述時結(jié)合了中文詞長特征，改進的權(quán)值公式與TF-IDF公式進行實驗比