Ajax深度信息獲取及聚類關(guān)鍵技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，人們獲取知識的來源不再局限于書本和課堂，越來越多的網(wǎng)絡(luò)公開課走入了人們的現(xiàn)代生活，例如著名的網(wǎng)易公開課，中國大學(xué)MOOC和搜狐名校公開課等。用戶觀看視頻后，通過評論可以進行學(xué)習(xí)交流和發(fā)表觀點。通過研究有效的信息采集方法和優(yōu)秀的文本聚類算法，將大量分散的評論信息完整的采集、組織和歸類，發(fā)現(xiàn)學(xué)習(xí)者關(guān)注的問題，對今后優(yōu)質(zhì)資源的建設(shè)，起到大眾導(dǎo)向作用。本文的研究將涉及兩種關(guān)鍵的技術(shù):信息采集技術(shù)和文本聚類技術(shù)。經(jīng)過分析該類

2、型網(wǎng)站的結(jié)構(gòu)特點，首先，評論不是以傳統(tǒng)靜態(tài)HTML網(wǎng)頁呈現(xiàn)的表層信息，而是以Ajax動態(tài)網(wǎng)頁呈現(xiàn)的深度信息。其次，這些評論信息是典型的短文本，文本比較口語化，隱含的話題也比較分散。這些特點就為傳統(tǒng)信息采集及聚類技術(shù)增加了難度。
　　本人獨立完成了如下工作:第一，在評論信息采集階段，利用HtmlUnit模擬特定的Firefox瀏覽器，調(diào)用瀏覽器API模擬用戶事件的觸發(fā)，獲取該事件交互后的完整頁面信息。該方法利用事件取代URL地址作為

3、頁面發(fā)生變化的唯一標(biāo)識，有效地避免了傳統(tǒng)爬蟲對URL地址的依賴，并能夠保證Ajax信息的抓全率，為后續(xù)聚類工作提供了必備的數(shù)據(jù)源。第二，對采集后的評論文本進行NLPIR中文分詞，構(gòu)建了公開課領(lǐng)域的用戶字典，整理了1205個停用詞，將文本轉(zhuǎn)換為計算機能理解的數(shù)據(jù)模型，引入了LDA主題模型，有效地避免了傳統(tǒng)VSM向量空間模型對語義相關(guān)性的忽略。第三，對處理后的文本進行聚類時，以初始中心的選擇為研究的切入點，基于LDA模型，在部分最重要的主題

4、維度上預(yù)先聚類，收斂的各中心點作為所有主題維度聚類的初始中心點，這使得初始點的選擇更加具有代表性，避免了盲目選擇造成的聚類結(jié)果不穩(wěn)定。線性結(jié)合了VSM模型和LDA模型的計算公式，并通過訓(xùn)練確定其最優(yōu)參數(shù)，應(yīng)用到K-means算法中。
　　最后用實驗表明，深度評論信息獲取階段，對比已有文獻的方法，本文提出的方法具有可行性及靈活性，能夠提高采集率。短評論信息聚類階段，基于VSM+LDA模型線性相加的文本相似度公式，應(yīng)用到基于LDA初始