基于蟻群算法的漢語(yǔ)自動(dòng)分詞的研究與實(shí)現(xiàn).pdf

1、漢語(yǔ)自動(dòng)分詞是中文信息處理領(lǐng)域中的基礎(chǔ)課題,其中,歧義初分的消除是影響分詞精度的關(guān)鍵問(wèn)題.國(guó)內(nèi)外很多學(xué)者在自動(dòng)分詞領(lǐng)域展開(kāi)了富有成效的工作,但在提高分詞精度上,仍然存在著很在的困難.我們研究發(fā)現(xiàn),對(duì)于漢語(yǔ)自動(dòng)分詞,首先,必須對(duì)影響分詞精度的語(yǔ)言現(xiàn)象作針對(duì)性的研究,做到對(duì)問(wèn)題的實(shí)質(zhì)從總體上把握;其次,必需考慮分詞算法的設(shè)計(jì),建立分詞模型,提高模型的計(jì)算能力;并研究在分詞過(guò)程中提供更有效的語(yǔ)言信息的度量.該文在分詞建模過(guò)程中,啟發(fā)于蟻群算法

2、在解決一系列復(fù)雜組合優(yōu)化問(wèn)題中所表現(xiàn)出來(lái)的卓越性能,創(chuàng)造性地交蟻群算法模型運(yùn)用到漢語(yǔ)自動(dòng)分詞問(wèn)題中歧義字段的識(shí)別和切分上面,通過(guò)流語(yǔ)句子在內(nèi)存中表示的數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì),構(gòu)造了我們的分詞模型,以詞頻作為啟發(fā)因子,巧妙的將純粹分詞問(wèn)題轉(zhuǎn)化為詞的選擇問(wèn)題,并從計(jì)算的角度,分別以絕對(duì)減值法和后備法給出我們相應(yīng)方案的詳細(xì)設(shè)計(jì).實(shí)驗(yàn)結(jié)果顯示我們的基于蟻群算法的漢語(yǔ)自動(dòng)分詞方法是一個(gè)可行的解決方案.在統(tǒng)一的語(yǔ)料測(cè)試集上,我們就該本分詞算法和中科院計(jì)算所