基于Web的新詞語發(fā)現(xiàn)研究.pdf

1、隨著互聯(lián)網(wǎng)的興起，Internet幾乎進(jìn)入了人們生活的各個(gè)角落，在給人們帶
　　 來巨大便利的同時(shí)也不斷影響著人們所使用的語言，特別是語言中的詞語，越
　　 來越多的中文新詞語出現(xiàn)在網(wǎng)絡(luò)上，影響著人們的日常交流用語。中文新詞的
　　 出現(xiàn)豐富了語言的色彩，同時(shí)也給詞庫更新、自然語言處理、詞典編纂等領(lǐng)域
　　 帶來了很多困難。鑒于當(dāng)前新詞語并沒有一個(gè)準(zhǔn)確的、公認(rèn)的定義，如何快速、
　　 準(zhǔn)確的查找出

2、新詞語成了一個(gè)比較麻煩的問題。本文根據(jù)語言學(xué)和詞法分析中
　　 關(guān)于新詞語的定義，將新詞語分為詞形新的詞語、命名實(shí)體和意義用法發(fā)生變
　　 化的已有詞語這三大類。本文主要研究的是對于詞形新的詞語的自動(dòng)發(fā)現(xiàn)。
　　 從當(dāng)前來看，國內(nèi)外對于詞形新的新詞語識別研究還不多見，而且現(xiàn)有的
　　 研究提取的新詞語一般都是限于詞長或者是限于領(lǐng)域。本文提出了自己的方法
　　 ——從互聯(lián)網(wǎng)上采集大量的新聞網(wǎng)頁，然后

3、從新聞內(nèi)容中提取新詞語。我們的
　　 目標(biāo)是從全局角度尋找在指定日期后出現(xiàn)的不限領(lǐng)域和詞長的新詞語。
　　 本文提出的方法實(shí)現(xiàn)的系統(tǒng)分為三個(gè)部分：網(wǎng)頁采集、網(wǎng)頁分析和新詞語
　　 的提取。在網(wǎng)頁采集部分用網(wǎng)頁爬蟲程序下載指定網(wǎng)頁；網(wǎng)頁分析部分提取網(wǎng)
　　 頁的新聞內(nèi)容和新聞日期，對內(nèi)容用分詞程序進(jìn)行分詞，重復(fù)串查找，然后將
　　 所有的詞和串帶上日期存入原始信息數(shù)據(jù)庫；新詞語提取部分根據(jù)日期將原始