高搭配力度多詞序列識(shí)別的遞歸算法.pdf

1、多詞序列(又稱為詞語(yǔ)序列、詞項(xiàng)或ngram)是指n個(gè)連續(xù)的單詞組成的序列，在語(yǔ)言學(xué)許多分支中被越來(lái)越多的學(xué)者所研究。這些研究的重點(diǎn)之一是lexicalbundles(通常翻譯為詞束)，通常被認(rèn)為是對(duì)搭配研究的擴(kuò)展(Cortes，2004：397)。按Biber(2007：264)的定義，詞束以頻數(shù)為準(zhǔn)則，既詞束是出現(xiàn)頻數(shù)最多的多詞序列。Biber(2007：283)在該文中同時(shí)承認(rèn)，頻數(shù)并非研究格式化多詞序列的唯一標(biāo)準(zhǔn)--出現(xiàn)次數(shù)多和預(yù)

2、制化并非完全一致。Altenberg(1998：102)認(rèn)為，詞束作為研究口語(yǔ)習(xí)語(yǔ)的原材料是有用的，但是詞束中的許多組合在習(xí)語(yǔ)研究中意義不大，因?yàn)樗鼈兪呛?jiǎn)單的重復(fù)或者是更大結(jié)構(gòu)的組成部分。 本文是建立在以下假設(shè)上的：高搭配力度是多詞序列預(yù)制性的標(biāo)志。本文研究的多詞序列是搭配按照另一個(gè)準(zhǔn)則--搭配力度準(zhǔn)則進(jìn)行延伸而形成的多詞序列，它在結(jié)構(gòu)上體現(xiàn)了一種比詞束更預(yù)制化的傾向。 這種新的結(jié)構(gòu)化的多詞序列的遞歸定義如下：

3、1.研究者指定的某個(gè)(某些)單詞作為這些多詞序列的根節(jié)點(diǎn)。 2.如果字符串X是m-word高搭配力度多詞序列或者高搭配力度多詞序列的根節(jié)點(diǎn)，且collocability(WL，X，-1)>=CLT-OFF，那么字符串WLX是(m+1)-word高搭配力度多詞序列。 3.如果字符串x是m-word高搭配力度多詞序列或者高搭配力度多詞序列的根節(jié)點(diǎn)，且collocability(WR，X，+1)>=-CUT-OFF，那么字符串

4、XWR是(m+1)-word高搭配力度多詞序列。 解釋： 1.collocability(WL，X，-1)表示節(jié)點(diǎn)詞為X，跨距為-1/-1時(shí)，搭配詞WL(節(jié)點(diǎn)詞左一位置搭配詞)相對(duì)與節(jié)點(diǎn)詞的搭配力度，可以用T值，Mi值或者Z值來(lái)衡量。 2.collocability(WR，X，+1)表示節(jié)點(diǎn)詞為X，跨距為+1/+1時(shí)，搭配詞WR(節(jié)點(diǎn)詞右一位置搭配詞)相對(duì)與節(jié)點(diǎn)詞的搭配力度，可以用T值，Mi值或者Z值來(lái)衡量。

5、 3.CUT-OFF為研究者指定的臨界搭配力度。當(dāng)搭配詞相對(duì)與節(jié)點(diǎn)詞的搭配力度大于該值時(shí)，節(jié)點(diǎn)詞可以與搭配詞排列而形成更長(zhǎng)的高搭力度多詞序列。 實(shí)驗(yàn)發(fā)現(xiàn)高搭配力度多詞序列的特點(diǎn)：高頻；非對(duì)稱：有界。 搭配理論是語(yǔ)法和詞語(yǔ)的交匯點(diǎn)(衛(wèi)乃興，2002：120)。衛(wèi)乃興(2002：107)指出，搭配不僅是單詞間的聯(lián)系紐帶，而且是文本中意義的載體。當(dāng)前語(yǔ)言研究證實(shí)，形式和意義密不可分，詞匯和語(yǔ)法密切相關(guān)，兩者存在共選關(guān)系(濮

6、建忠，2003：220)。選擇詞匯的同時(shí)也意味著同時(shí)對(duì)含義做出了選擇，反之亦然。本文的實(shí)驗(yàn)結(jié)果也與這種觀點(diǎn)一致：如果我們選擇語(yǔ)法詞(the，of，and，it)作為根節(jié)點(diǎn)，生成的高搭配力度多詞序列中，有相當(dāng)大的比例是典型的詞項(xiàng)或者詞項(xiàng)的組合。在這個(gè)過程中，我們以grammaicalwords為根詞，得到了lexicalitems(或者是lexicalitems的組合)，這一過程也體現(xiàn)了語(yǔ)法與詞語(yǔ)的密切關(guān)系：Lexisisgrammmic

7、al，grammarislexical。 同時(shí)，在高搭配力度多詞序列的生成過程中，如果臨界搭配力度較小，這個(gè)算法會(huì)生成比較長(zhǎng)的語(yǔ)言單位(例如句子)；如果臨界搭配力度比較大時(shí)，會(huì)生成短的語(yǔ)言單位(例如詞項(xiàng)或者詞項(xiàng)的組合)。從這個(gè)角度講，這也驗(yàn)證了語(yǔ)法和詞語(yǔ)的區(qū)別不是絕對(duì)不可逾越的。 當(dāng)節(jié)點(diǎn)詞頻率不是太高，且節(jié)點(diǎn)詞的搭配詞分布相對(duì)均勻時(shí)，一系列搭配詞與節(jié)點(diǎn)詞相搭配，這些模式(例如putit+in/on)其實(shí)是類連接(即put

8、it+prep(in/on))。 實(shí)驗(yàn)發(fā)現(xiàn)：如果選取一些高頻詞(例如the，and，of)作為根詞，按照搭配力度為準(zhǔn)則延伸后可以得到結(jié)構(gòu)比較規(guī)范，并且和文本的內(nèi)容高度相關(guān)的lexicalitems(或者是lexicalitems的組合)，可以作為文章的候選關(guān)鍵詞組。 我的論文由五章組成。第一章介紹了多詞序列的重要性和搭配理論。第二章綜述了研究所涉及的語(yǔ)言模型。第三章給出了高搭配力度多詞序列的遞歸定義，并且給出了一個(gè)以單詞