基于中文分詞的搜索引擎設計實現(xiàn).pdf

1、本項目是公司的電子商務網(wǎng)站項目下的一個關鍵子項目，項目的設計要求包括根據(jù)已有的分詞算法，實現(xiàn)自有的中文分詞系統(tǒng)，設計實現(xiàn)一個規(guī)模適中的搜索引擎系統(tǒng)，具備較強的擴展性和穩(wěn)定性，控制搜索引擎的規(guī)模。 雖然搜索引擎技術目前已經(jīng)有較為成熟的解決方案，但是由于項目特別限定了搜索引擎，包括中文分詞處理技術，都需要采用完全自有的設計方案，因此本文所針對的搜索引擎架構設計，以及中文分詞算法的實現(xiàn)，都沒有采用已經(jīng)成型的開源設計方案。 搜索

2、引擎設計采用了層次化的設計結構，將搜索引擎劃分為五個層次，分別是接口層，核心層，存儲層，監(jiān)控系統(tǒng)和中文分詞系統(tǒng)。接口層負責處理外部程序與搜索引擎的通信過程。核心層包括四個子系統(tǒng)：中心控制系統(tǒng)，競價系統(tǒng)，搜索節(jié)點和分詞系統(tǒng)，中心控制系統(tǒng)是搜索引擎的核心調(diào)度系統(tǒng)，競價系統(tǒng)是搜索引擎可以實現(xiàn)經(jīng)濟效益。存儲層是搜索引擎索引數(shù)據(jù)的存儲系統(tǒng)所在位置，其中包括了索引目錄服務和數(shù)據(jù)存儲節(jié)點，存儲節(jié)點可隨需求進行擴展，增撤節(jié)點只要在目錄服務中作出相應更新

3、就可以實現(xiàn)存儲節(jié)點的擴展。搜索引擎集群在運行時，需要一個監(jiān)控系統(tǒng)來實時監(jiān)控系統(tǒng)各服務以及網(wǎng)絡的運行狀態(tài)，便于及時發(fā)現(xiàn)解決問題，保障系統(tǒng)的在線正常運行。中文分詞子系統(tǒng)在查詢和更新中被調(diào)用，進行信息的分詞處理。搜索引擎?zhèn)€子系統(tǒng)間的通信，采用了成熟的HTTP協(xié)議，該協(xié)議性能穩(wěn)定成熟，通過專門設計的HTTP Server達到非常高的傳輸性能。 搜索引擎的索引數(shù)據(jù)隨著時間的積累會越來越多，系統(tǒng)設計采取了分布式存儲方式來滿足搜索性能和存儲容