漢語專名識別與音譯方法研究.pdf

1、隨著自然語言處理技術(shù)的不斷發(fā)展，為提高信息處理系統(tǒng)的性能，一個迫切的需求就是能夠準確地進行專有名詞識別。特別在中文信息處理中，由于文本中的人名、地名等一些未登錄詞常被切分成單個字，大大影響了文本分析和處理的效果。由于專有名詞的數(shù)量非常龐大，無法在詞典中一一收錄。而且，隨著時間和領域的變化，總是不斷地有新的專名出現(xiàn)，又有舊的專名被淘汰。因此，專有名詞識別是自然語言處理系統(tǒng)中的一個難題。有效的專名識別系統(tǒng)能顯著提高信息抽取、信息檢索等信息處

2、理系統(tǒng)的性能。在專名識別的基礎上，再進行有效的專名翻譯，則十分有利于跨語言信息處理系統(tǒng)的性能提高。 本文設計并構(gòu)建了一個系統(tǒng)，實現(xiàn)漢語專名的自動識別及英漢專名的相互音譯，并對專名識別與專名音譯中的一些關鍵技術(shù)進行具體介紹。 1.在專名識別的算法方面，本文采用了最大熵統(tǒng)計模型作為框架。因為最大熵模型能有效整合多種約束信息，對于漢語專名識別問題也有很好的適用性。在最大熵模型的框架上，本文引入少量人工規(guī)則以彌補統(tǒng)計模型的固有不

3、足，提高處理性能。文章詳細介紹了用于漢語專名識別的基于最大熵模型的混合算法，及其主要實現(xiàn)流程。 2．在上下文特征的選擇方面，本文考慮了局部特征與全局特征兩大類特征。其中，局部特征信息包含候選詞的內(nèi)部構(gòu)詞信息與外部接續(xù)信息兩類。全局特征信息包含專名在文檔中的重現(xiàn)頻度，本文將其整合進動態(tài)詞表。 3．在專名音譯方面，本文采用了基于源語言待譯專名與目標語言候選專名之間發(fā)音相似度的方法，通過發(fā)音序列的比較，從候選專名庫中選擇發(fā)音相