條件隨機場在序列標注任務(wù)中的應(yīng)用研究.pdf

1、隨著社會的日益信息化，人們越來越強烈地希望用自然語言同計算機交流。自然語言理解是計算機科學中的一個引人入勝的、富有挑戰(zhàn)性的課題。從計算機科學特別是從人工智能的觀點看，自然語言理解的任務(wù)是建立一種計算機模型，這種計算機模型能夠給出象人那樣理解、分析并回答自然語言(即人們?nèi)粘Ｊ褂玫母鞣N通俗語言)的結(jié)果。 中文自然語言處理是讓機器理解中文的核心技術(shù)。在語義理解的整個過程中，智能分詞技術(shù)是最初的一個環(huán)節(jié)。它將組成語句的核心詞提煉出來供語

2、義分析模塊使用。在分詞的過程中，如何能夠恰當?shù)靥峁┳銐蚨嗟脑~來供分析程序處理，并且過濾掉冗余的信息，這是后期語義分析的質(zhì)量和速度的重要前提。 命名實體識別任務(wù)是指識別文本中人名、地名等具有特定意義的實體，屬于信息抽取任務(wù)。因為實體通常具有唯一性，所以命名實體識別在信息檢索、信息提取等應(yīng)用系統(tǒng)中受到特別的重視。好的命名實體識別效果對應(yīng)用系統(tǒng)的性能起到很大作用。 中文分詞和專有名詞識別都可以看作一個序列標注任務(wù)來完成。而條件

3、隨機場是應(yīng)用廣泛的序列標注模型。條件隨機場模型衍生自圖模型中的馬爾可夫隨機場。以圖結(jié)構(gòu)和概率論相結(jié)合的方式來描述隨機變量的分布。在序列標注任務(wù)中，條件隨機場的簡單形式——鏈式條件隨機場——將求得整個無向圖所表示的隨機變量的聯(lián)合概率分布。通過求得最大后驗概率的方式，來取得原序列對應(yīng)的最終標記序列。 本文主要講解了條件隨機場的基本原理。著重從條件隨機場模型本身結(jié)構(gòu)的角度闡述了條件隨機場在序列標注任務(wù)中的合理性和適合性。并通過與其它傳