基于電路課程的主題搜索引擎設計與實現(xiàn).pdf

1、上海交通大學碩士學位論文上海交通大學碩士學位論文基于電路課程的主題搜索引擎設計與實現(xiàn)基于電路課程的主題搜索引擎設計與實現(xiàn)DesignImplementationofTopicSearchEnginebasedonthecircuitcurriculum所在院系:電子信息與電氣工程學院學科專業(yè):電工理論與新技術學生姓名:孟媛指導教師:陳洪亮答辯日期:2010年3月上海交通大學電子信息與電氣工程學院上海交通大學電子信息與電氣工程學院2010

2、年3月2010年3月ADissertationSubmittedtoShanghaiJiaoTongUniversityftheDegreeofMaster第I頁摘要目前互聯(lián)網(wǎng)領域主要的搜索引擎服務商如Yahoo、百度、Google等，為用戶提供的都是橫向的海量信息搜索。而在互聯(lián)網(wǎng)不斷更新和演化的現(xiàn)階段，我們發(fā)現(xiàn)：普通網(wǎng)絡用戶想找到所需的資料簡直如同大海撈針，海量的信息已經(jīng)不再是發(fā)展的主要動力，意識和時效性才是真正的動力?；ヂ?lián)網(wǎng)發(fā)展的關

3、鍵不再是能否快速、大量地向用戶提供和傳遞信息，而是能否實現(xiàn)使用戶在期望的時間、期望的地點，以期望的方式和成本，獲取期望的信息。然而綜合搜索引擎可以滿足大量信息的橫向搜索，但很難兼顧搜索的準確度與相關度的質(zhì)量。主題搜索這一新的搜索模式正是在這一背景下產(chǎn)生的。本文主要的研究工作分為兩個部分：第一部分通過理論研究分析，提出了對主題搜索引擎信息采集算法的改進思路；第二部分通過對主題搜索引擎的核心技術進行剖析，設計并實現(xiàn)了一個主題搜索引擎的原型系

4、統(tǒng)。本文首先詳細介紹了搜索引擎的發(fā)展歷史，指出了目前綜合搜索引擎所面臨的問題以及解決這些問題的途徑，即本文所研究的方向：主題搜索引擎。通過和綜合搜索引擎在信息服務以及關鍵技術上的比較分析，指出主題搜索引擎存在的巨大優(yōu)勢和發(fā)展空間，并通過學習設計搜索引擎的關鍵技術，網(wǎng)絡爬蟲技術、網(wǎng)頁抽取技術、中文分詞技術，建立主題搜索框架，在網(wǎng)頁抓取算法分析選擇，在抓取網(wǎng)頁選取方面作了范圍限定，以提高提取有效網(wǎng)頁精度。最后利用Lucene框架設計并構建一