面向異源數(shù)據(jù)的機器學習算法研究.pdf

1、數(shù)據(jù)同源是傳統(tǒng)機器學習依賴的基本假設，即訓練數(shù)據(jù)和測試數(shù)據(jù)服從相同分布。但現(xiàn)實環(huán)境中同源數(shù)據(jù)十分稀缺，有限的同源數(shù)據(jù)無法訓練出有效機器學習模型，這就是同源數(shù)據(jù)稀缺問題。解決同源數(shù)據(jù)稀缺問題的一個方法是人工構(gòu)造同源數(shù)據(jù)，但這種方法成本過高。解決同源數(shù)據(jù)稀缺問題的另一個有效方法是整合分布不同的異源數(shù)據(jù)來進行機器學習模型的訓練，因此面向異源數(shù)據(jù)的機器學習算法十分重要。
　　根據(jù)樣本空間是否相同，異源數(shù)據(jù)可以分為同構(gòu)異源數(shù)據(jù)和異構(gòu)異源數(shù)據(jù)

2、。為了解決同源數(shù)據(jù)稀缺問題，可以將無標注的樣本通過眾包方式收集標注。每個參與眾包的標注者被視作一個數(shù)據(jù)源，那么收集到的數(shù)據(jù)就是同構(gòu)異源數(shù)據(jù)。面向這種同構(gòu)異源數(shù)據(jù)的機器學習算法稱為群智學習算法。根據(jù)求得目標分類器的步驟，群智學習算法分為二階段方法和直接方法。個人分類器方法是群智學習直接方法中的代表方法，該算法擁有凸形式的目標函數(shù)但對模型參數(shù)分布做了強假設。本文提出一種非參數(shù)化的群智學習算法。該算法通過組合優(yōu)化目標構(gòu)造出凸形式的目標函數(shù)，并

3、且沒有對模型參數(shù)的分布做任何假設。
　　另一種整合異源數(shù)據(jù)的方法是其他領域的數(shù)據(jù)來幫助目標領域的模型訓練過程。不同領域的數(shù)據(jù)的樣本空間和分布均不同，因此是異構(gòu)異源數(shù)據(jù)。面向這種同構(gòu)異源數(shù)據(jù)的機器學習算法稱為遷移學習。根據(jù)遷移的方式不同遷移學習可以分為基于樣本權(quán)重、基于特征表示以及基于模型參數(shù)三類遷移方法。本文研究并提出一種基于模型的遷移方法和一種基于模型和樣本共同遷移的方法。這兩種遷移方法均能利用輔助領域的數(shù)據(jù)改善目標領域的模型效