面向互聯(lián)網(wǎng)數(shù)據(jù)的新詞發(fā)現(xiàn)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、社會(huì)在不斷地發(fā)展,人類(lèi)的語(yǔ)言也在不斷的變更。語(yǔ)言的內(nèi)涵、形式都在不斷地?cái)U(kuò)充。新詞的不斷涌現(xiàn),可以說(shuō)是語(yǔ)言不斷發(fā)展的最好證明。而QQ輸入法作為文字的輸入工具,也應(yīng)該保證與時(shí)俱進(jìn)。新詞的擴(kuò)充是QQ輸入法的基本功能之一。詞語(yǔ)是人們打字的最小單位,只有保證候選詞的豐富,才能幫助用戶(hù)提高打字速度。如何有效地發(fā)現(xiàn)新詞是學(xué)術(shù)界關(guān)注的焦點(diǎn),因?yàn)樾略~發(fā)現(xiàn)是許多技術(shù)研究的基本要求,如信息抽取、語(yǔ)音識(shí)別、主題發(fā)現(xiàn)、機(jī)器翻譯等。
　　中文信息處理與英文信

2、息處理的方法與難點(diǎn)存在很大的差異,中文自身有其獨(dú)特的特征,英文的詞與詞之間有空格間隔,而中文的詞語(yǔ)是緊密連著的,沒(méi)有詞與詞之間的標(biāo)識(shí);另外,英文字母也有字母大小寫(xiě)的區(qū)分,而中文沒(méi)有。因此在自然語(yǔ)言處理領(lǐng)域,中文的新詞發(fā)現(xiàn)是個(gè)非常棘手的問(wèn)題?；ヂ?lián)網(wǎng)不斷地向生活的方方面面滲透,信息也在呈爆炸式增長(zhǎng),現(xiàn)有詞典已經(jīng)不能滿(mǎn)足人類(lèi)交流的需要,新詞在源源不斷的產(chǎn)生。如何讓人類(lèi)的知識(shí)儲(chǔ)備跟上社會(huì)的發(fā)展,是一個(gè)需要認(rèn)真研究探討的問(wèn)題。
　　本文的主

3、要研究?jī)?nèi)容是面向互聯(lián)網(wǎng)數(shù)據(jù)的新詞發(fā)現(xiàn)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn),為輸入法開(kāi)發(fā)一套能源源不斷提供新詞的新詞發(fā)現(xiàn)平臺(tái)。在方案的選取上,本文首先分析并比較了幾種流行的新詞發(fā)現(xiàn)方法,最終設(shè)計(jì)了一套基于統(tǒng)計(jì)和規(guī)則相結(jié)合的方法來(lái)構(gòu)建新詞發(fā)現(xiàn)平臺(tái)。其中基于統(tǒng)計(jì)的方法為快速地處理大批量的數(shù)據(jù)提供了有效的手段,而基于規(guī)則的方法則對(duì)大規(guī)模數(shù)據(jù)的處理結(jié)果提供精確的修正算法。
　　新詞發(fā)現(xiàn)平臺(tái)分為四大組件:隱馬爾科夫模型組件、實(shí)際語(yǔ)料切分組件、新詞候選詞修正組件、

4、新詞列表維護(hù)組件。
　　隱馬爾科夫模型是需要一個(gè)長(zhǎng)期優(yōu)化和積累的部分,它對(duì)漢字的各種屬性概率進(jìn)行統(tǒng)計(jì)和計(jì)算。隱馬爾科夫的“學(xué)習(xí)”內(nèi)容采用的是經(jīng)過(guò)語(yǔ)言學(xué)家處理過(guò)的語(yǔ)料數(shù)據(jù)。對(duì)這些語(yǔ)料數(shù)據(jù)進(jìn)行分析和處理后就能形成一個(gè)與中國(guó)漢字相關(guān)的模型。該模型是新詞提取部分切分實(shí)際語(yǔ)料的一個(gè)理論依據(jù)。實(shí)際語(yǔ)料切分就是對(duì)互聯(lián)網(wǎng)上的數(shù)據(jù)進(jìn)行初步地切分,依據(jù)的是隱馬爾可夫模型原理。新詞候選詞修正組件是對(duì)實(shí)際語(yǔ)料切分組件的切分結(jié)果進(jìn)行修正,以獲取真正的新詞。

5、新詞列表維護(hù)組件就是對(duì)新詞列表信息進(jìn)行維護(hù),保證新詞的正確性。
　　新詞提取的過(guò)程具體為可以概括為以下步驟:依據(jù)隱馬爾科夫模型對(duì)實(shí)際數(shù)據(jù)集的初步切分;對(duì)上一步的切分結(jié)果做出初步的垃圾過(guò)濾,形成新詞候選詞集合;對(duì)新詞候選詞集合里的每一個(gè)詞組進(jìn)行分析,得到相關(guān)的數(shù)據(jù)集。然后對(duì)候選詞進(jìn)行修正算法,得到更加精確的新詞結(jié)果;輸出新詞集合。
　　新詞詞表維護(hù)的主要工作是在時(shí)間線上對(duì)已有的新詞列表進(jìn)行更新。更新操作包括:刪除、新增、更新新