基于Web挖掘的紡織專業(yè)搜索引擎設計.pdf

1、互聯(lián)網(wǎng)上的信息以幾何級數(shù)的速度膨脹，為了從紛繁蕪雜的信息海洋中找到有用的信息，人們借助搜索引擎搜尋所需信息。Yahoo、Google、Baidu等就是比較有代表性的搜索引擎?？墒沁@種通用搜索引擎無法滿足人們對專題性信息的需求。因此需要研究開發(fā)面向特定領域的專業(yè)搜索引擎來對專業(yè)領域信息進行檢索。 本文設計了一個紡織專業(yè)搜索引擎系統(tǒng)，詳細設計了系統(tǒng)中的重要模塊并對模塊中的關鍵技術進行了研究。本文的研究內容如下： 1、給出了紡

2、織專業(yè)主題爬行器的詳細設計 提高主題爬行器的效率問題。一方面通過協(xié)調器對網(wǎng)絡爬蟲抓取的URL按照一定規(guī)則進行調度，避免了由于網(wǎng)絡爬蟲的負載不平衡造成的資源分配不均；另一方面在掃描網(wǎng)頁源代碼獲取抓取的URL的同時，設計目標網(wǎng)頁內容過濾/預測模型來確定待采頁面，對網(wǎng)頁所含的超鏈接進行剪切與分類，按照相關鏈接采集、不相關鏈接直接丟棄的原則進行剪枝處理，減少網(wǎng)絡蜘蛛頁面采集的工作量。 2、針對主題爬行器中涉及的文本分類技術進行了

3、改進。 在向量空間模型表示網(wǎng)頁文本時，特征項在文本集合中位置分布的不同會引起權值的差異的問題。針對此問題本文改進了特征項權值的計算公式以更好的體現(xiàn)網(wǎng)頁的結構特征。傳統(tǒng)的K最近鄰分類方法存在一個很致命的問題就是如果訓練集的數(shù)據(jù)量很大，該方法很難實現(xiàn)全局的最優(yōu)搜索，為了加速K個最近鄰的搜索，本文采用了一種基于K最近鄰的快速文本分類方法，使在海量數(shù)據(jù)集中進行快速有效分類成為可能。 3、對檢索器中的網(wǎng)頁排序算法進行了改進