基于Web的電子產(chǎn)品信息抽取及分布式檢索技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的快速發(fā)展和廣泛普及使得網(wǎng)站和網(wǎng)頁信息量呈爆炸性的趨勢增長，互聯(lián)網(wǎng)已變成了一個巨大的、分布廣泛的全球性信息服務(wù)中心。雖然在該信息服務(wù)中心中非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的比重呈現(xiàn)增大的趨勢，但是在很多應(yīng)用場景中結(jié)構(gòu)化的信息集合對用戶更具有價值。因此，提供用戶信息結(jié)構(gòu)化抽取及檢索服務(wù)的信息融合系統(tǒng)，在Web信息處理領(lǐng)域成為新的研究熱點，具有更加廣泛的應(yīng)用場景。面向電子產(chǎn)品領(lǐng)域，論文重點研究信息抽取及信息檢索兩項關(guān)鍵技術(shù)。
　　 論文

2、首先描述面向電子產(chǎn)品的信息融合系統(tǒng)的研究背景與意義，并提出信息融合系統(tǒng)中信息抽取及信息檢索兩項關(guān)鍵技術(shù)的不足之處，最后描述論文的主要工作和組織結(jié)構(gòu)。
　　 其次，論文描述了信息融合系統(tǒng)中采用的平臺、相關(guān)技術(shù)以及國內(nèi)外研究現(xiàn)狀等。面向電子產(chǎn)品的信息融合系統(tǒng)主要是處理Web海量商業(yè)信息，完成商業(yè)信息的結(jié)構(gòu)化抽取及商業(yè)信息的分布式檢索。論文側(cè)重描述分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop，并在最后描述了Web信息抽取和信息檢索的國內(nèi)外研究現(xiàn)狀。

3、
　　 論文第三部分研究信息融合系統(tǒng)的信息抽取與信息檢索兩項關(guān)鍵技術(shù)。針對信息抽取，論文分析Anchor-Hop-I模型，該模型在網(wǎng)頁結(jié)構(gòu)未發(fā)生大幅度改變的情下，具有信息抽取高效率的優(yōu)點。但在網(wǎng)頁結(jié)構(gòu)改變時，信息抽取將大幅失效，需要人為重新制定抽取規(guī)則。針對該模型的適用場景及缺點，論文提出Anchor-Hop-T模型。該模型在Anchor-Hop-I模型失效的情況下，結(jié)合電子產(chǎn)品網(wǎng)站的網(wǎng)頁特殊結(jié)構(gòu)標簽，引入Anchor定位庫，自

4、動生成并保存正確的抽取規(guī)則列表，大幅提升信息抽取準確率和降低人力成本。針對信息檢索技術(shù)，論文介紹了基于Hadoop的Map端分布式檢索模型，該模型具有高效建立索引的特點，但在查詢階段需要全局查詢，大幅降低了查詢效率。針對該模型的缺點，論文提出基于Hadoop的Reduce端分布式檢索模型，該模型采用分類建立索引的方式，提供混合查詢，大幅提升查詢效率。同時，結(jié)合Hadoop平臺特點，提出一些細粒度優(yōu)化，包括InputSplit塊大小控制、