WEB個(gè)性化信息采集與管理關(guān)鍵技術(shù)研究.pdf

1、根據(jù)國(guó)家信息產(chǎn)業(yè)部對(duì)振興軟件業(yè)和推動(dòng)社會(huì)服務(wù)信息化的具體要求，以及政府、企事業(yè)單位對(duì)WEB個(gè)性化信息采集與管理的需求，Web信息服務(wù)行業(yè)已成為目前最熱門(mén)的行業(yè)之一。然而面對(duì)目前通用搜索引擎的諸多缺陷，使得人們不再滿足于充當(dāng)關(guān)鍵詞的提供者，因此用戶(hù)如何參與到WEB個(gè)性化信息采集與管理，并提供智能化、個(gè)性化、語(yǔ)義化的信息服務(wù)已成為人們的迫切需求?；谌藗兊钠惹行枨?，本文針對(duì)WEB個(gè)性化信息采集與管理的相關(guān)技術(shù)進(jìn)行研究，主要研究工作包括以下幾

2、個(gè)方面：
　?。?）分析信息源結(jié)構(gòu)，提出一種基于網(wǎng)絡(luò)爬蟲(chóng)、元搜索引擎、深網(wǎng)搜索三種搜索策略的WEB信息采集方法；然后分析網(wǎng)頁(yè)結(jié)構(gòu)，根據(jù)個(gè)性化定制內(nèi)容，提出一種基于雙重凈化的網(wǎng)頁(yè)主題內(nèi)容提取方法，從而達(dá)到WEB信息個(gè)性化采集的目的。
　?。?）分析網(wǎng)頁(yè)的HTML結(jié)構(gòu)特點(diǎn)，提出一種根據(jù)用戶(hù)偏好進(jìn)行網(wǎng)頁(yè)去重和凈化算法。通過(guò)抽取網(wǎng)頁(yè)要素中用戶(hù)偏好的短語(yǔ)來(lái)抽取網(wǎng)頁(yè)的內(nèi)容，根據(jù)學(xué)習(xí)的網(wǎng)頁(yè)內(nèi)容設(shè)置興趣庫(kù)，利用經(jīng)典邏輯推理推測(cè)出它們的相似度

3、來(lái)判斷網(wǎng)頁(yè)的重復(fù)度。實(shí)驗(yàn)結(jié)果表明，該方法能夠完成針對(duì)中文內(nèi)容網(wǎng)頁(yè)的去重，并得到相對(duì)較高的查全率和查準(zhǔn)率。
　?。?）針對(duì)企事業(yè)單位關(guān)注的網(wǎng)絡(luò)評(píng)論，提出一種基于語(yǔ)言學(xué)結(jié)構(gòu)的情感傾向識(shí)別模型，即：固定情感詞元模型。該方法利用基于固定情感詞元的三種特定搭配模式來(lái)構(gòu)造識(shí)別算法，通過(guò)基于增量的tf-idf 模型的相關(guān)用戶(hù)反饋不斷更新特征詞元集合，通過(guò)與傳統(tǒng)的情感識(shí)別方法相比較，可以得到較為明顯地提高情感分類(lèi)的效率和準(zhǔn)確率。
　?。?）

4、分析用戶(hù)的搜索行為，提出一種用戶(hù)搜索行為預(yù)測(cè)模型：ARIMA-SVM模型。該方法首先將一段時(shí)間內(nèi)特定用戶(hù)使用搜索的行為記錄視為有序的隨機(jī)序列，通過(guò)特征選擇和文檔表示的方法抽取搜索行為特征并進(jìn)行標(biāo)記，然后利用ARIMA時(shí)序分析方法來(lái)近似描述這一期的搜索行為記錄，從而預(yù)測(cè)下一期的用戶(hù)搜索行為，最后采用基于RBF核的SVM分類(lèi)器去除噪聲提高預(yù)測(cè)精確度。實(shí)驗(yàn)測(cè)試表明，新方法能夠糾正預(yù)測(cè)用戶(hù)行為的方向，與ARIMA模型相比，具有更好的預(yù)測(cè)性能。<