基于Hadoop平臺(tái)的外觀圖像專利檢索系統(tǒng)優(yōu)化研究.pdf

1、近年來(lái)，各個(gè)廠商圍繞著外觀設(shè)計(jì)專利的爭(zhēng)端不絕于耳，越來(lái)越多的產(chǎn)品外觀“似曾相識(shí)”。這一情況不僅讓廠商在設(shè)計(jì)產(chǎn)品時(shí)絞盡腦汁，也讓外觀設(shè)計(jì)的重要性上升到前所未有的高度。隨著企業(yè)產(chǎn)權(quán)意識(shí)的加強(qiáng)，外觀設(shè)計(jì)專利信息的需求與應(yīng)用越來(lái)越廣泛。
　　對(duì)于一個(gè)外觀專利圖像檢索系統(tǒng)來(lái)說(shuō)，隨著數(shù)量的海量增長(zhǎng)，檢索系統(tǒng)的實(shí)時(shí)性和穩(wěn)定性得不到保障。在當(dāng)今大數(shù)據(jù)時(shí)代的背景下，外觀專利數(shù)量爆發(fā)式的增長(zhǎng)給檢索系統(tǒng)的性能提出了空前的要求，而云計(jì)算技術(shù)正是這一問(wèn)題最

2、理想的答案?；贖adoop的云計(jì)算平臺(tái)具有高可靠性，高效性和高拓展性，是眾多互聯(lián)網(wǎng)企業(yè)和機(jī)構(gòu)進(jìn)行大規(guī)模數(shù)據(jù)處理的理想解決方案。
　　在分布式的環(huán)境中，集群內(nèi)的每個(gè)節(jié)點(diǎn)都可能是由配置不同的機(jī)器組成，不可避免的會(huì)出現(xiàn)各個(gè)節(jié)點(diǎn)的性能差距較大，或者由于網(wǎng)絡(luò)故障導(dǎo)致拓?fù)浣Y(jié)構(gòu)異常等情況。而目前Hadoop中的MapReduce任務(wù)調(diào)度機(jī)制以及HDFS存儲(chǔ)策略在復(fù)雜異構(gòu)應(yīng)用場(chǎng)景中的性能表現(xiàn)低下，已經(jīng)成為海量數(shù)據(jù)處理中的瓶頸。本文針對(duì)基于Had

3、oop平臺(tái)的外觀專利圖像檢索這一具體系統(tǒng)，針對(duì)默認(rèn)的MapReduce任務(wù)調(diào)度機(jī)制和HDFS存儲(chǔ)策略在實(shí)際應(yīng)用場(chǎng)景中性能表現(xiàn)不佳的現(xiàn)象，分別提出優(yōu)化措施，提高系統(tǒng)性能。主要工作如下:
　　(1)對(duì)Hadoop框架，及其核心MapReduce、HDFS的設(shè)計(jì)原理和執(zhí)行流程進(jìn)行深入分析。
　　(2)針對(duì)在Hadoop平臺(tái)在外觀圖像專利檢索系統(tǒng)實(shí)際使用中暴露出來(lái)的性能問(wèn)題，分別改進(jìn)為L(zhǎng)ASE任務(wù)調(diào)度策略和HIFI存儲(chǔ)策略來(lái)提高系統(tǒng)