大規(guī)模漢語語義詞典構(gòu)建.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，信息的理解和處理越來越受到人們的關(guān)注。內(nèi)容信息的理解需要自然語言的語義分析技術(shù)，而自然語言的語義分析離不開相應(yīng)的語義詞典的支持，因此語義詞典的建設(shè)已經(jīng)成為自然語言處理的一項基礎(chǔ)性工作。語義詞典作為自然語言處理的一項基礎(chǔ)資源，不僅對分詞、命名實體識別、詞義消歧等自然語言處理的底層技術(shù)有幫助，而且在問答系統(tǒng)、信息檢索、文本分類等上層應(yīng)用中也大有用武之地。
　　為了建設(shè)一部實用的、能在中文信息處理領(lǐng)域中發(fā)揮重要作用

2、的詞典，本文構(gòu)建了一部具有簡單結(jié)構(gòu)、收詞量足夠大的漢語語義詞典——詞脈，不僅整合了已有的語義詞典，如同義詞詞林（擴(kuò)展版）、知網(wǎng)等，還充分利用了互聯(lián)網(wǎng)，融入了網(wǎng)絡(luò)上的詞條資源，如百度百科、搜狗細(xì)胞詞庫等，從而在擴(kuò)大詞典規(guī)模的同時融入了新詞信息。
　　詞脈采用五層分類體系描述單詞詞義，詞語之間體現(xiàn)了良好的層次關(guān)系；每個詞義下是一個同義詞集合，每個集合中的單詞互為同義關(guān)系或同類關(guān)系。
　　本文首先整合了同義詞詞林（擴(kuò)展版）和知網(wǎng)這

3、兩部詞典構(gòu)建了詞脈的通用領(lǐng)域部分。將知網(wǎng)融入到同義詞詞林（擴(kuò)展版）體系中，首先采用基于同義詞的算法融合，對于采用同義詞算法沒有融入的知網(wǎng)中的單詞，再采用基于同類詞的算法。人工校對自動融合的結(jié)果后，構(gòu)成了詞脈的通用領(lǐng)域部分。
　　然后構(gòu)建了詞脈中的專有領(lǐng)域部分。根據(jù)百度百科的特點，采用基于詞條的開放分類標(biāo)簽的自動融合方法，融入了83部專有領(lǐng)域詞典，1,751,756個單詞；根據(jù)搜狗細(xì)胞詞庫的特點提出了手工標(biāo)注搜狗細(xì)胞詞庫的分類體系到