面向企業(yè)信息的Web聚焦搜索的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、TheDesignandImplementationofEnterpriseInformationOrientedWebFocusedSearchNanjingNormalUniversityFortheAcademicDegreeofMasterofEngineeringBYXinFanSupervisedbyAssociateProfJunshengZhouSchoolofComputerScienceandTechnoledgeN

2、anjingNormalUniversityMarch2013摘要摘要從海量網(wǎng)絡(luò)資源中獲取企業(yè)基本信息，為企業(yè)的客戶關(guān)系管理、潛在競(jìng)爭(zhēng)對(duì)手發(fā)現(xiàn)等提供信息支持，對(duì)于企業(yè)的生存和發(fā)展壯大具有重要意義。鑒于通用搜索引擎處理這類問(wèn)題時(shí)存在的局限性，本文設(shè)計(jì)實(shí)現(xiàn)了面向企業(yè)信息的聚焦搜索來(lái)滿足此類需求。Web中的企業(yè)信息頁(yè)面可以分為兩大類：企業(yè)信息以結(jié)構(gòu)化表格形式呈現(xiàn)的POI頁(yè)面、企業(yè)信息以非結(jié)構(gòu)化文本形式呈現(xiàn)的TOI頁(yè)面。兩類頁(yè)面結(jié)構(gòu)差異較大，聚

3、焦搜索過(guò)程需分開(kāi)進(jìn)行。聚焦爬蟲(chóng)和信息抽取是實(shí)現(xiàn)聚焦搜索的兩個(gè)核心任務(wù)，圍繞聚焦搜索的這兩個(gè)核心任務(wù)，且面向企業(yè)信息的兩種不同表現(xiàn)形式，本文主要展開(kāi)了如下幾個(gè)方面的研究工作：1、面向POI的聚焦爬蟲(chóng)?，F(xiàn)有聚焦爬蟲(chóng)研究多是面向主題的，對(duì)于面向POI的用戶需求目前還較缺乏相關(guān)研究。本文利用樸素貝葉斯與支持向量機(jī)等分類器模型，通過(guò)設(shè)計(jì)有效的特征模板，實(shí)現(xiàn)了面向POI的聚焦爬蟲(chóng)。實(shí)驗(yàn)結(jié)果表明利用爬蟲(chóng)對(duì)面向POI的用戶需求進(jìn)行聚焦是可行的。2、面向

4、TOI的聚焦爬蟲(chóng)?，F(xiàn)有聚焦爬蟲(chóng)在處理文本頁(yè)面時(shí)，大多直接對(duì)頁(yè)面內(nèi)的所有文本進(jìn)行處理，這就引入了較多的噪音內(nèi)容。本文采用改進(jìn)的頁(yè)面相關(guān)性分析算法，僅獲取與主題最相關(guān)的五塊文本，對(duì)不同塊賦予相應(yīng)的權(quán)重，利用分類模型方法判斷整體的相關(guān)性，實(shí)現(xiàn)了面向TOI的聚焦爬蟲(chóng)。實(shí)驗(yàn)也采用樸素貝葉斯和支持向量機(jī)分類模型，實(shí)驗(yàn)結(jié)果與基于頁(yè)面全部文本實(shí)現(xiàn)的聚焦爬蟲(chóng)Baseline系統(tǒng)相比，收獲率平均高出20％左右，最高差值可達(dá)5135％，充分說(shuō)明了改進(jìn)的頁(yè)面相

5、關(guān)性算法是非常有效的。3、企業(yè)信息抽取。以聚焦爬蟲(chóng)獲取的相關(guān)網(wǎng)頁(yè)集為數(shù)據(jù)源，抽取POI域、TOI域內(nèi)的企業(yè)信息。POI域內(nèi)的企業(yè)信息布局規(guī)范，結(jié)構(gòu)規(guī)律性較強(qiáng)，因此僅采用包裝器方式對(duì)相對(duì)簡(jiǎn)單的POI域進(jìn)行信息抽取。對(duì)于相對(duì)較復(fù)雜的TOI域內(nèi)的企業(yè)信息，本文采用統(tǒng)計(jì)學(xué)習(xí)模型將任務(wù)分解為兩步進(jìn)行抽?。合扰袛嘁粋€(gè)句子是否包含槽信息，然后判斷句中短語(yǔ)所屬的槽類別，根據(jù)句子和短語(yǔ)的聯(lián)合概率確定最終的槽填充內(nèi)容。實(shí)驗(yàn)定義了8種企業(yè)屬性作為待填充槽，各