基于Kinect的人體動作識別系統(tǒng)與實現(xiàn).pdf

1、人體動作識別研究是動作理解的基礎，同時也是進行友好人機交互的重要前提，具有重要的研究意義和廣闊的應用背景。隨著社會智能化和信息化的不斷發(fā)展，越來越多的學者致力于研究如何實現(xiàn)準確、穩(wěn)定的人體動作識別，以便更好地理解人的動作意圖，從而讓機器人等智能化設備為人們提供更加人性化的服務。
　　起初，學者們針對平面二維視頻圖像采用各種先進的圖像處理算法來進行動作識別，然而這種方法始終無法避免各種環(huán)境噪聲的干擾，如顏色、紋理、光照、遮擋等問題。

2、隨著運動捕獲技術(shù)的日臻成熟和廣泛推廣，捕獲大量基于三維空間的運動數(shù)據(jù)集已成為現(xiàn)實。Kinect是微軟公司于2010年推出的一款體感攝像頭，它不但可以像普通攝像頭一樣捕獲到 RGB彩色圖像，而且可以測取人體的場景深度，不僅如此，Kinect還可以提供部分重要關節(jié)點的三維空間坐標。鑒于三維運動數(shù)據(jù)集可以更好地還原運動細節(jié)，能夠更真實地記錄運動軌跡，本文利用Kinect作為外接設備捕獲到人體20個關節(jié)點的三維坐標信息，在此基礎上實現(xiàn)了小范圍內(nèi)

3、人體動作識別。本文在學習、分析了關于人體動作表示方法和識別算法的基礎上，以人體骨架模型作為研究對象，對人體動作識別方法展開了研究。此外，為了下一步能夠有效地利用動作視頻中的語義信息，本文還對人手進行了檢測定位。本文主要工作如下：
　　(1)利用 Kinect捕獲到了場景彩色圖像、深度圖像和骨架圖像，并通過坐標轉(zhuǎn)換將骨架圖像映射到彩色圖像上顯示，從而使開發(fā)人員可以更直觀地觀察到Kinect對人體關節(jié)點的精準定位，而且可以便于研發(fā)人員

4、直觀地評估關節(jié)點的跟蹤狀態(tài)，從而確保捕獲的關節(jié)點數(shù)據(jù)的質(zhì)量。
　　(2) Kinect與普通攝像頭最大的不同在于它能夠定位人體的20個關節(jié)點信息，并能精準地給出關節(jié)點的三維空間坐標，通過編碼實現(xiàn)了關節(jié)點坐標的獲取，并在此基礎之上，對既有的關節(jié)點數(shù)據(jù)進行規(guī)則化處理，將規(guī)則化后的數(shù)據(jù)作為底層特征來進行動作識別。
　　(3)由于Kinect的彩色攝像頭與深度攝像頭分布在Kinect的不同位置，深度圖像和彩色圖像不能按像素點一一對應

5、。因此，該系統(tǒng)還對Kinect的兩個攝像頭做了校準。
　　(4)為了充分利用動作執(zhí)行環(huán)境中的語義信息，并且避免人工定義的特征集帶來的主觀性和不完整性，可以提取操作物品特征，這一語義特征對于特定場景下的動作識別極為有效。由于大部分含有操作物品的動作都是由手執(zhí)行完成的，要識別操作物品，首先要對手進行檢測，該系統(tǒng)利用 Kinect的深度信息和膚色信息對人手進行了檢測與定位，為下一步提取物品信息打下基礎。
　　(5)底層特征提取完成

6、之后，選定BP神經(jīng)網(wǎng)絡作為分類器對特征數(shù)據(jù)進行訓練，根據(jù)分類效果建立改進的層次神經(jīng)網(wǎng)絡，由于第二層網(wǎng)絡的執(zhí)行與否取決于第一層網(wǎng)絡的分類結(jié)果，因此稱其為結(jié)果驅(qū)動的層次 BP神經(jīng)網(wǎng)絡。保存BP神經(jīng)網(wǎng)絡訓練好的權(quán)值參數(shù)并在 VS里進行調(diào)用，最終利用 BP神經(jīng)網(wǎng)絡學習過程中的前向計算公式得出動作識別結(jié)果。
　　本文對該系統(tǒng)的功能需求進行了詳細闡述，系統(tǒng)主要分為數(shù)據(jù)采集模塊、特征提取模塊和動作識別模塊。數(shù)據(jù)采集模塊的功能主要是利用Kinec