基于Hadoop平臺的外觀圖像專利檢索系統(tǒng)優(yōu)化研究.pdf

1、近年來，各個(gè)廠商圍繞著外觀設(shè)計(jì)專利的爭端不絕于耳，越來越多的產(chǎn)品外觀“似曾相識”。這一情況不僅讓廠商在設(shè)計(jì)產(chǎn)品時(shí)絞盡腦汁，也讓外觀設(shè)計(jì)的重要性上升到前所未有的高度。隨著企業(yè)產(chǎn)權(quán)意識的加強(qiáng)，外觀設(shè)計(jì)專利信息的需求與應(yīng)用越來越廣泛。
　　對于一個(gè)外觀專利圖像檢索系統(tǒng)來說，隨著數(shù)量的海量增長，檢索系統(tǒng)的實(shí)時(shí)性和穩(wěn)定性得不到保障。在當(dāng)今大數(shù)據(jù)時(shí)代的背景下，外觀專利數(shù)量爆發(fā)式的增長給檢索系統(tǒng)的性能提出了空前的要求，而云計(jì)算技術(shù)正是這一問題最

2、理想的答案?；贖adoop的云計(jì)算平臺具有高可靠性，高效性和高拓展性，是眾多互聯(lián)網(wǎng)企業(yè)和機(jī)構(gòu)進(jìn)行大規(guī)模數(shù)據(jù)處理的理想解決方案。
　　在分布式的環(huán)境中，集群內(nèi)的每個(gè)節(jié)點(diǎn)都可能是由配置不同的機(jī)器組成，不可避免的會出現(xiàn)各個(gè)節(jié)點(diǎn)的性能差距較大，或者由于網(wǎng)絡(luò)故障導(dǎo)致拓?fù)浣Y(jié)構(gòu)異常等情況。而目前Hadoop中的MapReduce任務(wù)調(diào)度機(jī)制以及HDFS存儲策略在復(fù)雜異構(gòu)應(yīng)用場景中的性能表現(xiàn)低下，已經(jīng)成為海量數(shù)據(jù)處理中的瓶頸。本文針對基于Had

3、oop平臺的外觀專利圖像檢索這一具體系統(tǒng)，針對默認(rèn)的MapReduce任務(wù)調(diào)度機(jī)制和HDFS存儲策略在實(shí)際應(yīng)用場景中性能表現(xiàn)不佳的現(xiàn)象，分別提出優(yōu)化措施，提高系統(tǒng)性能。主要工作如下:
　　(1)對Hadoop框架，及其核心MapReduce、HDFS的設(shè)計(jì)原理和執(zhí)行流程進(jìn)行深入分析。
　　(2)針對在Hadoop平臺在外觀圖像專利檢索系統(tǒng)實(shí)際使用中暴露出來的性能問題，分別改進(jìn)為LASE任務(wù)調(diào)度策略和HIFI存儲策略來提高系統(tǒng)