開(kāi)放環(huán)境中番茄的雙目立體視覺(jué)識(shí)別與定位.pdf

1、果蔬識(shí)別和定位的準(zhǔn)確性與實(shí)時(shí)性將直接影響果蔬采摘機(jī)器人的采摘成功率和采摘效率。開(kāi)放環(huán)境中果蔬的識(shí)別和定位受非結(jié)構(gòu)環(huán)境因素的影響很大，因此一直以來(lái)是采摘機(jī)器人研究領(lǐng)域的研究重點(diǎn)之一。
　　本研究以番茄為研究對(duì)象，利用雙目立體視覺(jué)技術(shù)，詳細(xì)探討了開(kāi)放環(huán)境中番茄圖像分割算法，被枝葉遮擋番茄識(shí)別算法，成簇番茄識(shí)別算法及番茄3D定位方法，部分解決了當(dāng)前番茄采摘機(jī)器人視覺(jué)系統(tǒng)研究中存在的問(wèn)題，所開(kāi)發(fā)的番茄識(shí)別和定位算法將為番茄采摘機(jī)器人視覺(jué)系

2、統(tǒng)的改善奠定一定理論和方法基礎(chǔ)。主要研究?jī)?nèi)容及研究結(jié)論如下:
　　(1)比較了基于色差、歸一化色差、顏色分量比這三類(lèi)顏色特征的番茄圖像分割算法的分割性能?；跉w一化色差、顏色分量比的番茄圖像分割算法可實(shí)現(xiàn)不同光照強(qiáng)度下的番茄圖像分割;光照較弱時(shí)，歸一化色差法的分割效果較好;順光條件下，光照較強(qiáng)時(shí)，雙顏色分量比法的分割效果較好。
　　(2)提出了融合番茄光斑識(shí)別及分段閾值的番茄圖像分割算法。該算法基于R分量與光照度的相關(guān)性，融

3、合了基于歸一化色差及顏色分量比這兩類(lèi)番茄圖像分割算法的優(yōu)點(diǎn)，進(jìn)一步結(jié)合番茄光斑區(qū)域識(shí)別方法實(shí)現(xiàn)了不同光照強(qiáng)度下的番茄圖像分割。對(duì)184幅圖像共計(jì)750個(gè)含光斑的番茄區(qū)域的試驗(yàn)表明:基于該方法的圖像分割正確率為93.6％，明顯優(yōu)于基于歸一化色差法的36.3％;平均執(zhí)行時(shí)間為71ms;該算法對(duì)對(duì)順光條件下的番茄圖像具有較好的整體分割性能。
　　(3)對(duì)比研究了基于圓回歸及圓Hough變換的被遮擋番茄識(shí)別方法。首先兩類(lèi)方法均進(jìn)行邊緣曲率

4、分析，去除曲率異常邊緣，然后對(duì)曲率正常邊緣分別通過(guò)圓回歸及圓Hough變換實(shí)現(xiàn)被遮擋番茄的識(shí)別。對(duì)220幅存在遮擋的番茄圖像的試驗(yàn)結(jié)果表明:輕微遮擋時(shí)，兩類(lèi)方法的識(shí)別正確率分別為90.8％，89.1％;中度遮擋時(shí)，兩類(lèi)方法的識(shí)別正確率分別為50.4％，74.8％;嚴(yán)重遮擋時(shí)，兩類(lèi)方法的識(shí)別性能均較差;可見(jiàn)存在遮擋時(shí)，圓Hough變換法的整體識(shí)別性能優(yōu)于圓回歸法;兩類(lèi)方法的平均執(zhí)行時(shí)間均約為100ms。
　　(4)對(duì)比研究了基于數(shù)學(xué)

5、形態(tài)學(xué)、圓回歸、圓Hough變換及雙目立體視覺(jué)的四類(lèi)成簇番茄識(shí)別方法。數(shù)學(xué)形態(tài)學(xué)法通過(guò)條件腐蝕和循環(huán)膨脹實(shí)現(xiàn)成簇番茄的識(shí)別;圓回歸與圓Hough變換法與被遮擋番茄識(shí)別所用方法相似;雙目立體視覺(jué)法根據(jù)成簇區(qū)域內(nèi)前后番茄區(qū)域深度差，基于迭代Otsu法將成簇番茄分為兩類(lèi):重疊番茄和粘連番茄，然后使用圓回歸法實(shí)現(xiàn)粘連番茄的識(shí)別，對(duì)經(jīng)深度圖像邊緣分割后的彩色圖像邊緣應(yīng)用圓回歸法實(shí)現(xiàn)重疊番茄識(shí)別。經(jīng)138對(duì)存在輕微遮擋的成簇番茄立體圖像的試驗(yàn)結(jié)果顯

6、示:存在輕微遮擋時(shí)，四類(lèi)方法的識(shí)別正確率分別為60.9％，69.0％，71.1％，82.5％;存在較嚴(yán)重遮擋時(shí)，四類(lèi)方法的識(shí)別性能均不理想;四類(lèi)方法的平均執(zhí)行時(shí)間分別為3、85、138、500ms。試驗(yàn)結(jié)果表明:雙目立體視覺(jué)法對(duì)粘連及重疊番茄的識(shí)別性能均較好，其余三類(lèi)方法對(duì)粘連番茄的識(shí)別性能較好，而對(duì)重疊番茄的識(shí)別性能均較差;雙目立體視覺(jué)法的整體識(shí)別性能要優(yōu)于其余三類(lèi)方法，特別是對(duì)重疊番茄。
　　(5)提出了番茄3D測(cè)量誤差校正方

7、法。研究了基于形心特征匹配，區(qū)域匹配及組合匹配的三類(lèi)立體匹配方法，分析了基于三類(lèi)立體匹配的3D定位誤差，分析了造成深度測(cè)量誤差的要因，提出了相應(yīng)的校正方法，討論了遮擋對(duì)3D定位精度的影響，測(cè)試分析了三類(lèi)立體匹配方法的實(shí)時(shí)性。組合匹配將粗匹配階段通過(guò)形心匹配獲得的番茄粗略視差作為精匹配階段區(qū)域匹配的視差范圍中心，從而獲得了一個(gè)中心隨圖像采集距離變化而變化的動(dòng)態(tài)視差范圍，在確保獲得與區(qū)域匹配相近匹配精度的同時(shí)，減少了立體匹配計(jì)算量，圖像采集

8、距離在300～1000mm范圍內(nèi)時(shí)，所需匹配時(shí)間為區(qū)域匹配的三分之一。1349對(duì)立體圖像的試驗(yàn)表明:1）基于三類(lèi)立體匹配得到的x坐標(biāo)測(cè)量誤差相對(duì)較小，分別為:[0，12.8]，[1.3，13.8]，[1.3，13.8]mm。y坐標(biāo)及深度測(cè)量誤差相對(duì)較大，且與圖像采集距離間分別呈現(xiàn)近似線性遞減和遞增的關(guān)系。2）經(jīng)二元分段線性回歸y坐標(biāo)預(yù)測(cè)模型校正后，基于三類(lèi)立體匹配的y坐標(biāo)測(cè)量誤差范圍分別為:[-7，-0.8]，[-6.1，1.4]，[-

9、6.1，1.8]mm。3）番茄大小是影響深度測(cè)量誤差的要因。4）經(jīng)基于深度測(cè)量值及番茄大小的二元線性回歸深度預(yù)測(cè)模型校正后，基于三類(lèi)立體匹配的深度測(cè)量誤差范圍分別為:[-10.4，28.7]，[-6，12.8]，[-5.6，5.3]mm。5）x、y坐標(biāo)測(cè)量結(jié)果比深度測(cè)量值更易受遮擋影響。6）三類(lèi)匹配方法的執(zhí)行時(shí)間分別為:[0.4，4]，[24，288.8]，[9.6，98.8]ms。
　　(6)編制了基于C語(yǔ)言的番茄識(shí)別和定位軟件