大數(shù)據(jù)處理技術(shù)在專利數(shù)據(jù)分析中的應(yīng)用研究.pdf

1、專利文獻(xiàn)具有數(shù)據(jù)量大、類型復(fù)雜，蘊(yùn)含信息豐富的特點(diǎn)。但是，目前常用的專利文獻(xiàn)處理信息化平臺(tái)對(duì)海量專利文獻(xiàn)數(shù)據(jù)的處理能力不足，缺乏對(duì)專利文獻(xiàn)進(jìn)行系統(tǒng)分析與深度信息挖掘的能力。為了解決這些問(wèn)題，本文課題圍繞大數(shù)據(jù)技術(shù)在專利數(shù)據(jù)分析中的應(yīng)用展開(kāi)了研究開(kāi)發(fā)。
　　作者調(diào)查了專利審查工作，尤其是專利數(shù)據(jù)審查質(zhì)量分析與低質(zhì)量專利分析的應(yīng)用需求;研究了大數(shù)據(jù)處理與分析的相關(guān)技術(shù)；設(shè)計(jì)了專利大數(shù)據(jù)處理平臺(tái)的體系結(jié)構(gòu)（主要包括應(yīng)用系統(tǒng)、Spark大

2、數(shù)據(jù)框架、數(shù)據(jù)源三大組成部分）。研究了K-近鄰算法、關(guān)聯(lián)規(guī)則算法，以及聚類算法在專利數(shù)據(jù)分析處理中的應(yīng)用方法。
　　在理論研究的基礎(chǔ)上，基于Linux操作系統(tǒng)、Spark2.1.0、R3.3.2構(gòu)建了專利大數(shù)據(jù)處理平臺(tái)，基于Spark R與Mlib環(huán)境，應(yīng)用基于R的W e b交互界面的應(yīng)用框架軟件包Shiny、可在Spark中進(jìn)行數(shù)據(jù)分析的R語(yǔ)言包Sparklyr，以及R語(yǔ)言開(kāi)發(fā)實(shí)現(xiàn)了低質(zhì)量專利數(shù)據(jù)聚類分析軟件。
　　本軟件

3、以外觀專利申請(qǐng)中的低質(zhì)量案件為對(duì)象，獲取其主分類號(hào)等數(shù)據(jù)集，存儲(chǔ)在分布式文件系統(tǒng)h d fs中；應(yīng)用R語(yǔ)言調(diào)用Sparklyr連接Spark計(jì)算框架；通過(guò)K均值聚類軟件進(jìn)行聚類輸出，獲得數(shù)據(jù)分析結(jié)果，再通過(guò)R程序進(jìn)行可視化；使用shiny與用戶進(jìn)行Web交互。
　　目前，低質(zhì)量專利數(shù)據(jù)聚類分析軟件已在某公司正常運(yùn)行，可對(duì)低質(zhì)量專利數(shù)據(jù)進(jìn)行聚類分析；可根據(jù)顏色，位置，聚合程度來(lái)直觀顯示聚類效果。運(yùn)行結(jié)果表明，本軟件對(duì)于輔助專利機(jī)構(gòu)提