搜索引擎中面向分類(lèi)與檢索的語(yǔ)義分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、國(guó)內(nèi)外搜索引擎面臨的主要問(wèn)題在于:其一,用于垂直搜索的網(wǎng)頁(yè)分類(lèi)器準(zhǔn)確度低;其二,文本檢索智能化水平差、相關(guān)度低、冗余信息多。針對(duì)以上問(wèn)題,我們的搜索引擎采用基于PLSA技術(shù)的語(yǔ)義分析系統(tǒng),旨在有效的提高分類(lèi)器和檢索的準(zhǔn)確度。
　　本系統(tǒng)通過(guò)主題建模,利用分布式計(jì)算和存儲(chǔ)進(jìn)行參數(shù)訓(xùn)練,利用得出的數(shù)據(jù)優(yōu)化共現(xiàn)矩陣,有效的解決語(yǔ)言中的歧義現(xiàn)象(同義詞和多義詞引起)。設(shè)計(jì)與實(shí)現(xiàn)了面向分類(lèi)與檢索的語(yǔ)義分析系統(tǒng)。其中包括參數(shù)訓(xùn)練模塊、文本分詞

2、模塊、主題識(shí)別模塊以及語(yǔ)義相關(guān)度計(jì)算模塊。同時(shí)對(duì)如下問(wèn)題進(jìn)行了研究:
　　首先,主題建模與參數(shù)訓(xùn)練。主題模型的優(yōu)勢(shì)能夠克服傳統(tǒng)的向量空間模型的缺陷,使得文本相關(guān)度計(jì)算不僅僅進(jìn)行字面匹配,同時(shí)降低了共現(xiàn)矩陣的維度,達(dá)到消除歧義,降低噪音的作用。模型的選取至關(guān)重要。確定模型后在參數(shù)訓(xùn)練階段,用一臺(tái)計(jì)算機(jī)來(lái)對(duì)參數(shù)進(jìn)行迭代顯然是不現(xiàn)實(shí)的,我們采用基于Hadoop體系結(jié)構(gòu)的分布式計(jì)算和存儲(chǔ)技術(shù),充分利用閑置的服務(wù)器。在參數(shù)訓(xùn)練中,本文采用E

3、M算法作為參數(shù)迭代結(jié)束的約束條件,同時(shí)設(shè)置相對(duì)變化率,避免多余的計(jì)算開(kāi)銷(xiāo);為了充分利用多線程的優(yōu)勢(shì),進(jìn)行CPU多核優(yōu)化;為了防止阻塞等待I/O將計(jì)算密集的I/O與比較耗時(shí)的I/O運(yùn)算分開(kāi),進(jìn)行異步I/O的優(yōu)化;利用共享詞典,免去每個(gè)線程都要加載pwz矩陣的計(jì)算開(kāi)銷(xiāo)。其次,針對(duì)文本分詞中,中英文單詞混雜現(xiàn)象,本文設(shè)計(jì)并實(shí)現(xiàn)一種對(duì)混合文本的處理方法,來(lái)適應(yīng)此種普遍現(xiàn)象。這樣無(wú)論是中文、英文還是混合文本都能很好的處理。同時(shí),進(jìn)行語(yǔ)義分析研究。