面向?qū)W位論文的致謝分析和生成研究.pdf

1、如今，互聯(lián)網(wǎng)技術(shù)以及計算機(jī)軟件和硬件快速發(fā)展，互聯(lián)網(wǎng)上的信息急劇膨脹，如何獲取數(shù)據(jù)、分析數(shù)據(jù)和挖掘數(shù)據(jù)的價值成為人們研究的熱點，與數(shù)據(jù)相關(guān)的研究有著廣闊的應(yīng)用前景。文本挖掘和文本生成是自然語言處理中重要的組成部分，也是目前研究最廣泛的領(lǐng)域之一。
　　目前，有很多研究者在文本挖掘和文本生成領(lǐng)域進(jìn)行了很多研究，已經(jīng)取得了許多重大的成果。對于研究生學(xué)位論文的致謝部分，包含了很多有用的信息，可以在致謝數(shù)據(jù)上做很多有意義的研究。在論文致謝數(shù)

2、據(jù)上的研究還有幾個問題需要解決，包括如何獲取大量學(xué)位論文致謝論文數(shù)據(jù)、從哪些角度對致謝數(shù)據(jù)挖掘信息和如何自動生成論文致謝等。針對這些問題，本文主要做了如下工作：
　?。?）針對大量學(xué)位論文數(shù)據(jù)獲取的問題，本文通過分析CNKI網(wǎng)站網(wǎng)頁的結(jié)構(gòu)及特點，設(shè)計了一種基于Selenium的網(wǎng)絡(luò)爬蟲。該網(wǎng)絡(luò)爬蟲實現(xiàn)了對CNKI網(wǎng)站學(xué)位論文基本信息和致謝部分的抓取功能，之后對數(shù)據(jù)清洗并構(gòu)建語料。研究表明該爬蟲技術(shù)非常強(qiáng)大，能很好地抓取特殊格式的數(shù)

3、據(jù)文件，并且能適應(yīng)各種爬行環(huán)境，是一種有效的獲取大量數(shù)據(jù)的方法。
　?。?）針對如何挖掘致謝數(shù)據(jù)信息的問題，本文提出了基于機(jī)器學(xué)習(xí)分類器的對比方法、LDA主題分析方法和學(xué)校之間合作關(guān)系研究的方法。本文使用機(jī)器學(xué)習(xí)分類器從不同學(xué)科、不同年代角度對論文致謝數(shù)據(jù)做了對比分析，通過分類結(jié)果對關(guān)鍵詞進(jìn)行分析。本文使用LDA主題模型獲取所有數(shù)據(jù)的主題詞，研究了學(xué)位論文致謝數(shù)據(jù)的主要用詞特點。本文從學(xué)位論文致謝中抽取學(xué)校名字，研究了學(xué)校之間的合