基于Web的化工專業(yè)信息檢索技術(shù)的研究與應(yīng)用.pdf

1、隨著Internet技術(shù)和應(yīng)用的不斷發(fā)展，Web頁面的數(shù)目飛速增長。搜索引擎所面對(duì)的數(shù)據(jù)也呈指數(shù)上升。現(xiàn)有的通用搜索引擎都是面向綜合信息的，對(duì)于化工專業(yè)領(lǐng)域的人員來說，查詢化工學(xué)科的網(wǎng)絡(luò)信息如果沒有優(yōu)秀的專業(yè)檢索工具，沒有體現(xiàn)化工學(xué)科獨(dú)特的詞匯和用語以及相應(yīng)的標(biāo)引和檢索語言，檢索結(jié)果就不可能理想。而現(xiàn)有的化工專業(yè)檢索工具無論是數(shù)量和還是質(zhì)量都無法滿足眾多專業(yè)用戶的需要。因此，研究化工專業(yè)信息檢索方法和技術(shù)，建立高效的化工專業(yè)信息檢索系統(tǒng)

2、，為化工專業(yè)人員提供方便快捷的檢索服務(wù)具有十分重要的理論意義和應(yīng)用價(jià)值。
　　 本文針對(duì)網(wǎng)絡(luò)上的化工專業(yè)信息資源特點(diǎn)進(jìn)行分析，研究面向化工學(xué)科的信息檢索方法和技術(shù)，設(shè)計(jì)并開發(fā)具有化工專業(yè)特點(diǎn)的信息檢索系統(tǒng)。
　　 搜索引擎是一項(xiàng)融入了多項(xiàng)技術(shù)的網(wǎng)絡(luò)信息檢索系統(tǒng)，它涉及到專業(yè)網(wǎng)絡(luò)信息的獲取技術(shù)、多種信息格式的轉(zhuǎn)換技術(shù)、海量信息的索引技術(shù)、信息檢索技術(shù)、文獻(xiàn)摘要自動(dòng)生成技術(shù)、網(wǎng)頁排序技術(shù)、中文分詞等多項(xiàng)信息處理技術(shù)。本文在對(duì)

3、上述核心技術(shù)進(jìn)行深入研究、分析的基礎(chǔ)上，設(shè)計(jì)了一整套適用于化工專業(yè)搜索引擎的技術(shù)方案，并在系統(tǒng)開發(fā)中得以實(shí)施。
　　 最豐富的化工專業(yè)網(wǎng)絡(luò)信息資源是網(wǎng)頁。自動(dòng)獲取化工專業(yè)網(wǎng)頁是化工專業(yè)搜索引擎核心的技術(shù)。本文提出了通過統(tǒng)計(jì)化工專業(yè)詞匯的密度進(jìn)行網(wǎng)站相關(guān)性評(píng)價(jià)，從而確定化工專業(yè)站點(diǎn)的SiteRank，并結(jié)合站點(diǎn)內(nèi)部的鏈接分析，保證了化工專業(yè)網(wǎng)頁的定向獲取。
　　 另一種化工專業(yè)網(wǎng)絡(luò)信息資源是專業(yè)數(shù)據(jù)庫。通常網(wǎng)絡(luò)數(shù)據(jù)庫信息以

4、動(dòng)態(tài)網(wǎng)頁形式出現(xiàn)，屬于網(wǎng)絡(luò)中的深層信息，必須通過提交查詢才能獲得。通過分析HTML結(jié)構(gòu)標(biāo)記并建立Tag Tree，本文提出了將網(wǎng)頁結(jié)構(gòu)對(duì)比分析和頁面內(nèi)容對(duì)比過濾相結(jié)合的數(shù)據(jù)提取方案，并對(duì)化工物性數(shù)據(jù)庫進(jìn)行了測(cè)試，成功地進(jìn)行了數(shù)據(jù)提取，為下一步嘗試建立化工數(shù)據(jù)庫搜索引擎奠定了基礎(chǔ)。
　　 中文分詞算法是中文信息處理的基礎(chǔ)，是人們長期研究的熱點(diǎn)問題。針對(duì)化工專業(yè)詞匯的特點(diǎn)，本文改進(jìn)了最短路徑分詞算法，通過選取最佳路徑，消除了部分歧義

5、。改進(jìn)后的分詞算法復(fù)雜度并未增加，分詞的準(zhǔn)確性有了一定提高。
　　 對(duì)于大量化工專業(yè)網(wǎng)頁的索引，系統(tǒng)利用了開放源代碼的Lucene索引系統(tǒng)。在對(duì)Lucene系統(tǒng)代碼深入剖析的基礎(chǔ)上，詳細(xì)研究了Lucene的結(jié)構(gòu)框架、文件結(jié)構(gòu)和類型及索引過程，設(shè)計(jì)了利用Lucene索引系統(tǒng)建立化工專業(yè)網(wǎng)頁索引的實(shí)施方案，通過對(duì)原代碼的改進(jìn)和補(bǔ)充，實(shí)現(xiàn)了化工專業(yè)網(wǎng)頁的批量索引和增量索引。
　　 在化工專業(yè)信息檢索方面，針對(duì)化工專業(yè)術(shù)語的特點(diǎn)

6、提出了同義詞的檢索方案，設(shè)計(jì)了適合同義詞檢索的詞典，實(shí)現(xiàn)了化工專業(yè)搜索引擎的擴(kuò)展檢索。此外設(shè)計(jì)了基于關(guān)鍵詞詞頻和位置的網(wǎng)頁排序算法及自動(dòng)摘要生成算法。本文提出的算法形式簡單、運(yùn)算速度快，突出了化工專業(yè)性，在化工專業(yè)搜索引擎中得到了很好的應(yīng)用。
　　 最后，本文對(duì)化工專業(yè)搜索引擎系統(tǒng)的總體結(jié)構(gòu)進(jìn)行了詳細(xì)介紹。該系統(tǒng)共有數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)分析系統(tǒng)、網(wǎng)頁索引系統(tǒng)和檢索系統(tǒng)四部分組成。本文對(duì)每個(gè)系統(tǒng)內(nèi)部及系統(tǒng)之間的聯(lián)系進(jìn)行了詳細(xì)設(shè)計(jì)，并