[學(xué)習(xí)]對科技論文的分類研究

1、對科技論文的數(shù)字文檔的自動分類研究,山東大學(xué)計算機(jī)學(xué)院,引言,文本自動分類 傳統(tǒng)的論文分類法對普通的文獻(xiàn)進(jìn)行分類時準(zhǔn)確率為78%左右, 但是利用它對計算機(jī)和自動化類的科技文獻(xiàn)按照中圖分類法進(jìn)行分類時準(zhǔn)確率僅為56 %左右 。,背景介紹,傳統(tǒng)的論文分類方法 由于傳統(tǒng)的算法不適用于處理文本信息這種非結(jié)構(gòu)的數(shù)據(jù)，因此必須將其進(jìn)行結(jié)構(gòu)化轉(zhuǎn)換。近年來應(yīng)用較多的是向量空間模型(Vector Space Model，VSM)。計算權(quán)值的方法有多種

2、：詞頻統(tǒng)計法、詞頻逆文本頻率(TFIDF)、WIDF算法、Shannon信息熵等.。 在對文本進(jìn)行向量化后，利用學(xué)習(xí)算法對文本向量進(jìn)行學(xué)習(xí)，以得到分類器（KNN，SVM，N-bayes）。,我們的工作,我們注意到科技論文是一種半結(jié)構(gòu)化文擋，可以把論文的標(biāo)題、關(guān)鍵詞集合和摘要看作為論文的元數(shù)據(jù)，因為它們精簡地反映了文章的核心內(nèi)容，本文介紹了利用元數(shù)據(jù)單獨(dú)分類的效果和利用元數(shù)據(jù)和分類法相結(jié)合的多層分類法。和單純地使用支持向量機(jī)相比，本方法

3、在分類精度和效率上均優(yōu)于前者。,準(zhǔn)備工作,實驗：我們考慮比較用文本全文信息與僅用科技論文的標(biāo)題、關(guān)鍵詞和摘要部分作為測試集進(jìn)行分類的差異。我們從搜集的文獻(xiàn)中隨機(jī)地抽出中圖法分類號為TP391、TP392、TP393、TP399的文獻(xiàn)：416篇作為測試集，500篇作為訓(xùn)練集。得到分類結(jié)果如下：,,結(jié)論1：僅僅根據(jù)標(biāo)題、關(guān)鍵詞、摘要信息進(jìn)行分類其分類精度是略低于依靠文本全文信息進(jìn)行分類的，有些類別的分類要明顯好于其他類別. 原因1：1)因

4、為標(biāo)題、關(guān)鍵詞和摘要信息中的特征項遠(yuǎn)遠(yuǎn)少于全文文本信息中的特征項；2)普通的分詞軟件對包含了較多專用名詞的科技文獻(xiàn)進(jìn)行分詞時的效果不太好；3)比較重要的一點是科技文獻(xiàn)的某個類(特別是較細(xì)的類)的各個子類的文本中存在很多交叉的詞項(詞或短語)，易造成混亂。,改進(jìn)實驗,改進(jìn)實驗：，首先將文本類別擴(kuò)展到中圖法分類號為TP31、TP37、TP39、TP3X，然后相同程度的擴(kuò)展測試集與訓(xùn)練集。,,得到分類結(jié)果如下：,,結(jié)論2:在較高一層的類別分類

5、中,無論是使用文本全文信息分類還是僅僅利用標(biāo)題、關(guān)鍵詞、摘要信息進(jìn)行分類其分類結(jié)果都有極大的提高,而利用標(biāo)題、關(guān)鍵詞、摘要信息進(jìn)行分類的分類精度(查準(zhǔn)率與查全率)也接近甚至在個別類別超過了使用文本全文信息進(jìn)行分類的結(jié)果。 原因2：（1）較高一層的類別中存在較少的交叉子項，不容易造成混亂 。（2）標(biāo)題、關(guān)鍵詞、摘要信息中存在較少的噪聲，并且為高層的類別提供了足夠的分類信息。,我們的想法,將待分類的文本進(jìn)行粗分類，然后再對粗分類的結(jié)果

6、進(jìn)行細(xì)分類，其中，在進(jìn)行粗分類的時候僅僅依靠其標(biāo)題、關(guān)鍵詞、摘要信息內(nèi)容，而在細(xì)分類的時候再采用文本全文信息進(jìn)行分類，并在每一步分類中采用各自的學(xué)習(xí)算法和相應(yīng)參數(shù)進(jìn)行學(xué)習(xí)。,我們的想法,基于層次的科技論文分類模型,實驗與評測,樣本的選取---科技論文文本數(shù)據(jù)庫的建立.我們分別使用K-NN與SVM兩種經(jīng)典分類方法對科技論文進(jìn)行了分類，再使用基于層次的分類模型對相同測試集進(jìn)行了分類，得到結(jié)果如下：,實驗與評測,SVM,實驗與評測,KNN,

7、實驗與評測,基于層次的分類模型,實驗與評測,綜合的比較：,結(jié)論,互聯(lián)網(wǎng)和科學(xué)研究的高速發(fā)展迫切需要對科技類文本進(jìn)行精確而有效的分類。傳統(tǒng)的科技文獻(xiàn)分類方法無法對處于類邊緣的論文進(jìn)行準(zhǔn)確地分類。本文提出一種基于層次的科技論文的分類模型，并通過實驗證明，該方法是一種行之有效的提高文本分類的精度與效率的途徑。未來的工作包括：在現(xiàn)有基礎(chǔ)上，考慮增加參考文獻(xiàn)的信息以提高對分類的精度，該模型在不同性質(zhì)類別（如基于大量文本內(nèi)容的文學(xué)類別和基于大量字符

8、、公式的數(shù)學(xué)類別等）分類中的應(yīng)用等等。,,參考文獻(xiàn)：[1] 中國圖書館分類法編輯委員會．《中國圖書館分類法》使用手冊[M]．第4版．北京：北京圖書館出版社，1999[2] J Gary Auguston J，Jack Minker．An analysis of Some graphtheoretical cluster techniques[J]．JACM，1970，17(4)：571— 588．[3] Y． Yang ， Xin

9、 Liu． A re-examination of text categorization methods， Proceedings of ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR)，1999：42—49[4] Masao Fuketa，Sangkon Lee，Takako Tsuji et a1．A document

10、 Classification Method by Using Field Association Words[J]．Information Sciences，2000：126(1—4)：57-70[5] Marie-Francine Moens，Jos Dumortier．Text Categorization：The Assignment of Subject Descriptors to Magazine Articles[