圖像特征和語義分析方法的研究.pdf

1、由于人力勞動成本的上升和對生產(chǎn)效率要求的提高，增加制造或測試系統(tǒng)中的自動化環(huán)節(jié)成為工業(yè)發(fā)展的一個趨勢，越來越多的企業(yè)利用智能機(jī)械裝置對工業(yè)設(shè)備中的硬件或軟件進(jìn)行自動化操控。工業(yè)中產(chǎn)品在投入使用前需要用軟件對其進(jìn)行大量的功能模擬、性能測試和結(jié)果分析，實現(xiàn)對軟件的自動化控制可以降低勞動強(qiáng)度和成本、提高生產(chǎn)率和產(chǎn)品質(zhì)量，但目前還未出現(xiàn)能替代人工操作的智能機(jī)械化裝置。基于計算機(jī)視覺的軟件自動化控制逐漸成為一個重要的研究方向。其主要思想是通過獲取

2、和分析顯示屏上的圖像，并根據(jù)分析得到的結(jié)果，以及需要完成的任務(wù)（如響應(yīng)命令、響應(yīng)異常、記錄異常狀態(tài)等）自動規(guī)劃操作路徑，再用機(jī)械裝置（常見的如機(jī)械臂等）輔助自動完成操作。本文研究了這個過程中軟件模型建立、對采集的圖像進(jìn)行特征和語義分析以及路徑構(gòu)造三個部分，主要工作和創(chuàng)新之處如下：
　　1、提出了雙層語義模型。雙層語義模型有視圖層和操作層兩層，可以較為全面的描述GUI系統(tǒng)。視圖層主要描述GUI系統(tǒng)的視覺特點(diǎn)，操作層主要描述GUI系統(tǒng)

3、的操作特性，通過定義不同的描述子對模型中的元素進(jìn)行描述，結(jié)構(gòu)清晰。實驗中用三類方法分別進(jìn)行建模，比較發(fā)現(xiàn)雙層語義模型可以避免有限狀態(tài)機(jī)模型出現(xiàn)的“狀態(tài)爆炸”和事件流模型出現(xiàn)的無法描述多觸發(fā)事件的問題。
　　2、提出了基于圖文聯(lián)合特征的GUI圖像識別方法。GUI圖像分析是對GUI圖像進(jìn)行特征提取和識別的過程。針對測試類軟件GUI圖像包含文本和圖標(biāo)這個明顯特點(diǎn)，首先基于圖像處理的基本方法設(shè)計了基于連通域和色塊的圖標(biāo)和文本分割方法以及基

4、于主成分分析的圖標(biāo)識別方法，通過實驗證明了其有效性和合理性。其次，將TF-IDF權(quán)值計算方法應(yīng)用到圖標(biāo)中，定義了圖標(biāo)的TF和IDF值的含義。用文字和圖標(biāo)的 TF-IDF值組成聯(lián)合向量作為界面圖像的代數(shù)特征為識別提供依據(jù)。實驗表明基于圖文聯(lián)合特征的GUI圖像識別率較高。
　　3、提出了基于雙層語義模型的路徑生成方法。由于視圖層的拓?fù)浣Y(jié)構(gòu)是有向圖，因此先使用最短路徑生成方法生成界面路徑。再根據(jù)模型上下兩層之間包含關(guān)系進(jìn)行映射，生成操作