基于最大匹配的論文特征提取系統(tǒng)的設計與實現(xiàn).pdf

1、在中文搜索引擎中，中文分詞的作用顯而易見，其結果直接影響到搜索引擎的性能。目前，中文分詞技術主要有下面三種：通過字符串匹配進行進行分詞，通過人工智能的方法在理解分詞語義的基礎上來進行分詞，通過統(tǒng)計計算的方法來進行分詞。所謂的中文分詞系統(tǒng)，是現(xiàn)代漢語句子中的分詞方法。因為現(xiàn)代漢語的語法習慣，漢語句子和詞之間的標記表明。而英語單詞與單詞之間用空格，所以沒有分詞問題。但在中國，每一個句子，詞與詞問題是沒有空間的，所以我們必須使用一些智能技術分

2、離。漢語自動分詞算法從十九年代至今，已成為計算機專業(yè)研究的熱點，因為語言的復雜，計算機技術的瓶頸使之一直處于發(fā)展階段。
　　本文將已有的分詞算法進行了分析、總結和歸納，討論了中文識別一直難以很好解決的兩大問題：歧義識別和未登錄詞。中文分詞發(fā)展過程中遇到最大的問題是歧義識別和新詞識別。中文分詞的未來發(fā)展方向既要解決這類問題，使得達到較高的分詞正確率，又要進行行業(yè)分詞不斷拓展中文分詞的應用范圍，通過對詞頻進行每個詞項的出現(xiàn)次數(shù)后，得到