基于HowNet多特征結(jié)合的句子相似度計(jì)算.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)上信息越來(lái)越多，如何在這些海量信息中快速準(zhǔn)確地找到所需要的信息也越來(lái)越困難。雖然傳統(tǒng)的搜索引擎（如Google等）已經(jīng)取得了很大的成功，但這類(lèi)搜索引擎只能獲取與用戶(hù)查詢(xún)請(qǐng)求相關(guān)的文檔，用戶(hù)必須自己從這些文檔中查找相關(guān)信息；其查詢(xún)是一系列關(guān)鍵詞而非自然語(yǔ)言問(wèn)句，事實(shí)上，用戶(hù)可能更習(xí)慣于用自然語(yǔ)言來(lái)描述一個(gè)問(wèn)題；多數(shù)情況下，用戶(hù)所需要的只是問(wèn)題的確切答案，而不是與該問(wèn)題相關(guān)的一系列網(wǎng)頁(yè)。自動(dòng)問(wèn)答技術(shù)是自然語(yǔ)言處理領(lǐng)域

2、中一個(gè)非常熱門(mén)的研究方向，它綜合運(yùn)用了各種自然語(yǔ)言處理技術(shù)。而在信息檢索領(lǐng)域中，語(yǔ)義相似度起著重要的作用，提高語(yǔ)義相似度的精度有重要的理論和實(shí)際意義。 計(jì)算機(jī)對(duì)于中文的處理相對(duì)于西文的處理存在更大的難度，集中體現(xiàn)在對(duì)文本分詞的處理上。分詞是中文句子相似度計(jì)算的基礎(chǔ)和前提，采用高效的分詞算法能夠極大地提高句子相似度計(jì)算結(jié)果的準(zhǔn)確性。本文在對(duì)常用的中文分詞算法分析比較的基礎(chǔ)上，提出了一種基于雙數(shù)組Trie樹(shù)中文分詞算法及歧義消除策略

3、，對(duì)分詞詞典的建立方式、分詞步驟及歧義字段的處理提出了新的改進(jìn)方法，提高了分詞的完整性和準(zhǔn)確性。 在中文信息處理中，句子相似度的計(jì)算廣泛應(yīng)用于信息檢索、機(jī)器翻譯、自動(dòng)問(wèn)答系統(tǒng)、自動(dòng)文摘等領(lǐng)域，是一個(gè)非?；A(chǔ)而關(guān)鍵的問(wèn)題，長(zhǎng)期以來(lái)一直是人們研究的熱點(diǎn)和難點(diǎn)。本文分析比較了現(xiàn)有的句子相似度計(jì)算方法，然后提出了一種新方法，結(jié)合基于《知網(wǎng)》語(yǔ)義相似度計(jì)算和基于向量空間的TF*IDF方法，隨后利用此方法結(jié)合前面提出的分詞方法，給出了中文句