基于加權異構信息網絡的多維文本數據分析技術研究.pdf

1、在一個信息爆炸的時代，如何在含有大量文本的數據中，準確把握脈絡和重點，快速的獲得有用的信息，并且合理的管理和使用這些信息，進而實現對數據體系更準確的判斷和預測，已經成為當今亟待解決的問題。在不同種類的數據形式中，本文針對一種特定的含有文本的數據，即多維文本數據，開展研究。
　　多維文本數據在商業(yè)、科學等領域都廣泛存在，其數據實體既包含多維結構化數據，也包含描述性文本數據，大多數情況下，描述性文本數據中蘊含了很多重要信息。信息網絡是

2、我們分析研究中經常使用的模型工具，韓家煒等人開創(chuàng)性的提出可以利用信息網絡分析方法，從數據庫中發(fā)現知識。
　　近年來，對于多維文本數據的研究大多在分類和聚類、情感分析、意見挖掘等方面，而新興的信息網絡分析方法的研究主要針對不含有文本屬性的信息處理方面。目前這兩類研究已經各自形成了較為系統的研究體系，并積累了一定的研究成果，而我們的研究是嘗試推動兩者交匯融合，改變以往屬性數據和文本數據各自分別分析的不足。信息網絡分析方法，分析的不僅僅

3、是單一的實體節(jié)點，還包括節(jié)點間的相互聯系，以及節(jié)點所蘊含的信息內容。本文中的信息網絡，即是將具有文本內容、相互之間又具有聯系的數據實體，抽象為圖結構，以節(jié)點表示實體，以節(jié)點之間的邊來表達實體之間的關聯。利用信息網絡分析方法對多維文本數據中的結構化屬性數據和非結構化文本數據進行綜合分析，互相促進，充分利用含有文本內容的多維文本數據的全部信息，為多維文本數據分析技術探索有效的分析手段。
　　構建文本特征維度是對多維文本數據進行分析的重

4、要基礎和研究方法。文本特征維度，是指可以將文本文檔集合映射成樹節(jié)點，每個節(jié)點代表一個分類，特征維度樹的根節(jié)點代表全體文檔集合，每一層的節(jié)點代表相應的小類集合，使文本數據有維度層次的性質。本文探索如何利用信息網絡分析方法在多維文本數據中自動構建文本特征維度，提高分析結果的可讀性。
　　一個有維度的文本數據集可以進行鉆取、切片等OLAP操作，本文基于信息網絡分析方法對多維文本數據集進行多社團發(fā)現并生成了特征維度樹，提出了一種新的基于加

5、權異構信息網絡多社團發(fā)現的維度生成方法，將維映射為文本特征維，層映射為每次迭代計算生成的加權異構信息網絡，度量映射為集合的特征短語。本文所作的工作如下:
　　1.探索多維文本數據有效分析和建立文本特征維度的方法
　　提出一種基于加權異構信息網絡多社團發(fā)現的維度生成方法。與TopicCube、MCX等單一文本數據分析方法等相比，本文的維度生成方法利用了信息網絡分析方法來進行結構化屬性類數據、非結構化文本類數據的綜合分析，使用特

6、征短語做度量，實現了生成非結構化文本類數據的文本特征維度，使得維度結果簡單直觀。通過實驗驗證該方法具有良好的發(fā)現效果。
　　2.提出加權異構信息網絡模型的構建方法
　　提出一種基于關聯路徑的信息網絡構建方法。針對難以進行更精細分析的文本對象時，尋找密切關聯的新屬性對象代表原文本對象進行分析，基于新舊對象關聯共生的屬性，對新對象的分析就是對原文本對象的進一步分析，達成創(chuàng)造新的證據支持對原文本對象進行分析的目的。提出的加權異構信

7、息網絡構建算法，將文本對象用向量空間模型表示，根據文檔中特征短語出現的位置和詞頻，計算所有文檔之間的內容相似度，構造文檔-文檔的關聯邊;根據作者之間的合作路徑關系，修正計算所有文檔之間的相似度;用文檔間相似度的評價修正作者間相似度的權重，迭代計算同類節(jié)點間的權重，根據所有節(jié)點間關聯邊構造出加權異構信息網絡。
　　3.提出加權異構信息網絡的按粒度進行多社團發(fā)現的維度生成算法
　　提出一種針對加權異構信息網絡的按粒度進行多社團發(fā)