垂直搜索引擎關(guān)鍵技術(shù)的研究與實現(xiàn).pdf

1、近年來，通用搜索引擎技術(shù)已經(jīng)取得了長足的發(fā)展，其應(yīng)用也非常廣泛。但是，通用搜索引擎無法滿足一些特定互聯(lián)網(wǎng)用戶的專業(yè)性搜索需求。尤其對于企業(yè)用戶，他們將領(lǐng)域數(shù)據(jù)作為經(jīng)營和分析的基礎(chǔ)，對于領(lǐng)域數(shù)據(jù)有著更專業(yè)與全面的要求。為了解決這個問題，垂直搜索技術(shù)應(yīng)運而生，并成為了業(yè)界研究的熱點。垂直搜索引擎是針對某一個行業(yè)的專業(yè)搜索引擎。它通過主題判定和定向的結(jié)構(gòu)化數(shù)據(jù)抽取來向用戶返回具體的領(lǐng)域數(shù)據(jù)搜索結(jié)果。垂直搜索引擎能夠徹底避免通用搜索引擎的噪音數(shù)

2、據(jù)量大、查詢不準確、查詢深度不夠等問題，因此得到了更多企業(yè)用戶的關(guān)注。本文旨在針對垂直搜索引擎中的兩項關(guān)鍵技術(shù)，主題判定和結(jié)構(gòu)化數(shù)據(jù)抽取展開研究，并實現(xiàn)相關(guān)技術(shù)。
　　含有豐富結(jié)構(gòu)化數(shù)據(jù)的Web頁面主題判定是垂直搜索引擎的核心，是結(jié)構(gòu)化數(shù)據(jù)抽取的前提，具有重要的學(xué)術(shù)價值，工程應(yīng)用也非常廣泛。本文針對含有豐富結(jié)構(gòu)化數(shù)據(jù)的Web頁面，提出了復(fù)用結(jié)構(gòu)化數(shù)據(jù)抽取模板來進行Web頁面主題識別的分類框架。本文提出的方法避免了主題爬蟲對URL格

3、式嚴重依賴的問題，分類準確率也高于傳統(tǒng)的文本分類方法。論文通過實驗證明了框架在含有豐富結(jié)構(gòu)化數(shù)據(jù)的Web頁面分類方面的有效性。
　　考慮到企業(yè)用戶希望從垂直搜索引擎中獲得大眾的情感傾向用以輔助企業(yè)決策，本文研究了中文短信息的主題識別問題，為以后的情感分析提供基礎(chǔ)。本文以短信息新聞與中文短信息的相似性為理論基礎(chǔ)，提出基于5W(When，Where，Who，What，hoW)模型的中文短信息主題識別算法5WTAG。5WTAG算法首先對

4、中文短消息進行語句切分，然后針對各個子句抽取5W關(guān)鍵詞并創(chuàng)建候選主題標簽，最后使用統(tǒng)計和語義分析的方法計算候選主題標簽的推薦度。本文使用采集于新浪微博的真實數(shù)據(jù)對5WTAG算法在候選主題標簽語義正確性、推薦度計算方法正確性等方面進行了評價。
　　最后，為了解決垂直搜索引擎中的結(jié)構(gòu)化數(shù)據(jù)抽取問題，提出了Web頁面的結(jié)構(gòu)化數(shù)據(jù)自動抽取技術(shù)。該技術(shù)使用結(jié)構(gòu)化數(shù)據(jù)抽取模板對含有豐富結(jié)構(gòu)化數(shù)據(jù)的Web頁面進行結(jié)構(gòu)化數(shù)據(jù)抽取。為了實現(xiàn)自動化，