開放獲取期刊資源采集系統(tǒng)研究與實現(xiàn).pdf

1、隨著開放獲取運動的發(fā)展，越來越多的期刊加入到開放獲取行列中來。開放獲取期刊資源經(jīng)過同行評審保證了學術(shù)質(zhì)量，且分布廣泛，具有重要的學術(shù)價值。對開放獲取期刊資源采集的研究是有效利用資源的基礎(chǔ)。對于OAI-PMH協(xié)議的開放獲取期刊，通常使用OAI-PMH接口對期刊資源進行采集。對于非OAI-PMH協(xié)議的開放獲取期刊，一般是對期刊網(wǎng)頁中的元數(shù)據(jù)信息進行采集。然而開放獲取期刊是由期刊機構(gòu)各自對資源進行組織和展示，不同期刊采用不同的資源展現(xiàn)形式，相

2、同期刊在不同時期也可能有不同的資源展現(xiàn)形式，可謂是“千刊千面”。資源展現(xiàn)形式多變?yōu)榉荗AI-PMH協(xié)議的開放獲取期刊資源采集帶來了一定的難度。為了解決此問題，本文對開放獲取期刊資源及其采集方法和系統(tǒng)實現(xiàn)做了以下研究。
　　首先，本文對大量國內(nèi)外開放獲取期刊網(wǎng)站進行了采集調(diào)研，從網(wǎng)頁資源描述的角度歸納總結(jié)出開放獲取期刊資源具有描述粒度細、描述復雜和描述載體結(jié)構(gòu)多變等特點，并根據(jù)資源組織形式，將其分為單一型資源和組合型資源。在對當前主

3、要的資源采集方法對比分析的基礎(chǔ)上，結(jié)合開放獲取期刊資源特點，提出了一種適用于開放獲取期刊資源采集的方法。
　　然后，在對開放獲取期刊資源采集系統(tǒng)的目標和需求進行了詳細分析之后，本文對當前網(wǎng)頁采集工具以及其在開放獲取期刊資源采集上的應(yīng)用進行了對比，分析了開發(fā)開放獲取期刊資源采集系統(tǒng)的必要性。接著提出的開放獲取期刊資源采集方法，對系統(tǒng)進行了總體設(shè)計。系統(tǒng)主要分為三大模塊:用戶交互模塊、數(shù)據(jù)采集和網(wǎng)頁結(jié)構(gòu)檢查模塊以及數(shù)據(jù)存儲模塊。系統(tǒng)最

4、主要實現(xiàn)的功能包括可視化信息采集、采集規(guī)則自動形成、多線程自動采集、網(wǎng)頁結(jié)構(gòu)檢查、數(shù)據(jù)質(zhì)量檢測等功能。
　　接著，對系統(tǒng)三大模塊和主要功能點的具體實現(xiàn)進行了詳細地介紹，并通過編碼實現(xiàn)了系統(tǒng)的具體功能，同時從功能和性能兩個角度對系統(tǒng)進行了測試。在功能測試中，系統(tǒng)能對單一型資源和組合型資源進行采集，能準確地識別出期刊網(wǎng)站網(wǎng)頁結(jié)構(gòu)的變化，并將結(jié)構(gòu)變化后的頁面反饋給用戶重新進行選擇和采集，系統(tǒng)具備了資源采集的基本功能。在性能測試中，通過將

5、系統(tǒng)與八爪魚采集器對同一期刊資源采集效果進行對比，結(jié)果表明系統(tǒng)在召回率和準確率都優(yōu)于八爪魚采集器。此外系統(tǒng)對12個非OAI-PMH協(xié)議的開放獲取期刊網(wǎng)站進行采集，總共采集到了49660篇論文，總共花費時間為31659秒，平均每千篇文章采集所花費的時間為10.62分鐘。系統(tǒng)采集的論文數(shù)量加上用戶標注的臟頁數(shù)量之和與爬蟲腳本采集到的論文鏈接數(shù)量完全相同。說明系統(tǒng)能滿足開放獲取期刊資源的采集需求，同時驗證了本文所提出的開放獲取期刊資源采集方法