搜索引擎核心詞提取系統(tǒng)設(shè)計與實(shí)現(xiàn).pdf

1、論文選題來源于國內(nèi)某著名互聯(lián)網(wǎng)公司搜索引擎團(tuán)隊(duì)的搜索引擎核心詞提取系統(tǒng)。索引系統(tǒng)作為搜索引擎的核心系統(tǒng)之一，需要處理海量的互聯(lián)網(wǎng)信息，但是信息的高重復(fù)度浪費(fèi)了大量的系統(tǒng)資源。為了解決這一問題，需要在索引系統(tǒng)中添加索引信息排重系統(tǒng)，通過比對信息文本的核心詞來實(shí)現(xiàn)排重功能。本論文的主要工作是索引信息排重系統(tǒng)中核心詞提取子系統(tǒng)的設(shè)計與實(shí)現(xiàn)，該子系統(tǒng)的目的是能夠準(zhǔn)確、快速提取信息文本中的核心詞匯，供索引信息排重系統(tǒng)使用，進(jìn)而達(dá)到索引信息排重的目

2、的。
　　 論文闡述了搜索引擎核心詞提取系統(tǒng)對于企業(yè)應(yīng)用的價值和意義。介紹了搜索引擎核心詞提取系統(tǒng)相關(guān)技術(shù)，包括搜索引擎技術(shù)、中文分詞技術(shù)、模式匹配技術(shù)以及Linux系統(tǒng)開發(fā)技術(shù)；對搜索引擎核心詞提取系統(tǒng)進(jìn)行了需求分析，提出了基于中文分詞和模式匹配技術(shù)的核心詞提取方案；設(shè)計了系統(tǒng)的架構(gòu)和功能模塊；最終實(shí)現(xiàn)了該系統(tǒng)。
　　 本論文設(shè)計、實(shí)現(xiàn)的搜索引擎核心詞提取系統(tǒng)主要應(yīng)用于索引信息排重系統(tǒng)，還能將其擴(kuò)展應(yīng)用于文章相似度計算