基于多源異構數(shù)據(jù)融合的概念層次體系構建及其應用研究.pdf

1、領域專家構建豐富的領域概念層次體系，將領域知識自頂向下、逐層分類，方便用戶檢索與獲取信息。同時，概念層次體系構建還能為自動問答、機器翻譯等研究提供支持。目前，傳統(tǒng)的手工構建與半自動構建方法效率低、成本高、跨平臺使用難度大;而自動構建方法則往往依賴于單一語料，抽取出的概念不夠準確，層次關系比較單一。為此，本論文結合半結構化的專業(yè)語料庫與非結構化的用戶生成內容(UserGenetrated Conent，UGC)，利用多源異構數(shù)據(jù)融合的方法

2、構建概念層次體系。一方面，利用專業(yè)領域語料庫，初步構建概念層次體系;另一方面，針對非結構UGC，分別進行關鍵詞抽取、詞語相似度計算、概念層次體系構建等三個方面的研究。
　　首先，在關鍵詞抽取研究中，本文結合模式匹配、統(tǒng)計特征排序、序列標注等多種關鍵詞抽取策略，提出一種基于種子詞擴展的關鍵詞抽取方法。首先，基于模式匹配與統(tǒng)計特征排序的策略獲得種子詞;其次，基于條件隨機場(Conditional RandomFields，CRFs)模

3、型擴展種子詞。本文通過與TF*IDF、TextRank、NC_value、CRFs等算法進行對比試驗，證明本文策略不僅可以擺脫統(tǒng)計特征抽取對高頻詞的依賴，還能在一定程度上解決句法模板的限制，獲得更高的召回率。
　　其次，在詞語相似度計算研究中，本文提出一種基于多源知識融合的詞語相似度計算方法。首先，分別基于語詞知識體系（同義詞詞林、知網(wǎng)）、大規(guī)模語料資源（微博語料、新聞語料）、搜索引擎資源（百度、必應），通過單獨的算法計算詞語相似

4、度;其次，基于支持向量機回歸機(Support Vector Regression，SVR)集成多個算法的計算結果，獲得最終的詞語相似度。實驗結果表明，當訓練集數(shù)據(jù)量足夠大時，本文方法在性能及算法穩(wěn)定性上，都要遠高于其他幾種單獨的算法。
　　最后，在概念層次體系構建研究中，本文通過Kmeans聚類算法獲得概念間的層次關系。由于不同聚類算法獲得的聚類結果存在較大差異，因此，本文對比相似性傳播算法(Affinity Propagati

5、on，AP)、層次聚類算法（Hierarchical Clustering），通過聚類評估量化評價其聚類效果，并據(jù)此確定合適的聚類算法。
　　本文將基于UGC的概念層次體系與基于專業(yè)領域語料庫的概念層次體系進行融合，最終得到的該領域的概念層次體系。
　　為了評價該概念層次體系的質量，本文使用外部評估方法，即通過應用來評價概念層次體系的質量。通過情感分析任務的實驗表明，基于概念層次體系擴充情感向量空間維度，可以顯著提升情感分析