基于張量分解的缺失數(shù)據(jù)插補算法的研究.pdf

1、隨著計算機(jī)技術(shù)在各個領(lǐng)域的廣泛應(yīng)用,需要處理的數(shù)據(jù)維數(shù)越來越高。在網(wǎng)絡(luò)交通分析,化學(xué)數(shù)據(jù)分析等領(lǐng)域,采樣數(shù)據(jù)通常是部分缺失的高維形式。要想對這些部分缺失的高維數(shù)據(jù)進(jìn)行分析和處理,通常需要對缺失的部分進(jìn)行插補。傳統(tǒng)的處理數(shù)據(jù)缺失的方法大部分是針對向量或者矩陣形式的低維數(shù)據(jù),對于高維數(shù)據(jù),往往將其展開成向量或者矩陣形式進(jìn)行處理,但是這無疑破壞了數(shù)據(jù)本身的結(jié)構(gòu)特性,插補準(zhǔn)確度較低。近幾年的研究將張量分解及高維數(shù)據(jù)的插補結(jié)合了起來,提出了一系列

2、的算法。本文對這些算法進(jìn)行了研究,提出了3種新的算法,并通過仿真實驗與這些算法進(jìn)行了比較。針對基于張量分解的缺失數(shù)據(jù)插補問題,本文所做的具體工作如下:
　　1、針對小規(guī)模稠密張量的插補問題,提出了Tucker-ALS算法。經(jīng)典的PARAFAC-ALS算法采用得是張量分解中的CP分解模型,采用最大期望值法解決最小二乘問題,但是速度慢,插補準(zhǔn)確度不夠高。本文提出的Tucker-ALS算法思想與其類似,但是采用的是Tucker分解模型,

3、插補速度更快。
　　2、針對中小規(guī)模稠密張量的插補問題,提出了Tucker-WOPT算法。目前較好的PARAFAC-LM算法通過求二階偏導(dǎo)數(shù)解決最小二乘問題,而CP-WOPT算法通過求梯度值來解決最小二乘問題,這兩種算法都是基于張量分解中的CP分解模型的。而本文提出的Tucker-WOPT算法采用Tucker分解模型,通過求因子矩陣的一階偏導(dǎo)數(shù)解決最小二乘問題,并推導(dǎo)出了快速計算公式。Tucker-WOPT算法比這兩種算法能夠獲得

4、更高的插補準(zhǔn)確度,并且隨著數(shù)據(jù)缺失比例的增加,這種優(yōu)勢越來越明顯。
　　3、針對大規(guī)模稀疏張量的插補問題,提出了Tucker-SOPT算法。該算法和稀疏張量的CP-WOPT算法的思想類似,只不過本文采用的是Tucker分解模型。本文推導(dǎo)出了稀疏張量與矩陣的 n-模積的計算方法,并推導(dǎo)出了稀疏張量的Tucker分解模型的因子矩陣的一階偏導(dǎo)數(shù)計算方法。Tucker-SOPT算法與稀疏張量的CP-WOPT算法運算速度基本相同,但是插補準(zhǔn)