機器學習中隱式因子模型及其優(yōu)化算法研究.pdf

1、隨著各種數(shù)據(jù)來源和數(shù)據(jù)采集方式的逐漸多樣化,機器學習和數(shù)據(jù)挖掘技術的應用場景日益豐富。機器學習研究的本質(zhì)要解決智能化學習的基礎表示和模型兩大問題,前者需要對計算機可處理的數(shù)據(jù)進行特征化表示,這種表示需要具有泛化和可抽象存儲等特點;后者需要對學習遇到的數(shù)據(jù)表示進行統(tǒng)一的建模以實現(xiàn)智能化的理解、預測、推理等功能。傳統(tǒng)的有監(jiān)督學習模型面臨著人工特征工程的可擴展性和性能提升困難等瓶頸問題,而傳統(tǒng)的無監(jiān)督學習模型面臨著數(shù)據(jù)隱藏結構模式發(fā)現(xiàn)表示的不

2、充分和結果評估的困難等問題。本文主要研究解決機器學習表示和模型問題的一種有效方法—隱式因子模型。隱式因子模型的本質(zhì)是通過對輸入數(shù)據(jù)進行特征學習從而自動從數(shù)據(jù)中學習到高階的抽象表示,從而提高預測模型和數(shù)據(jù)隱藏結構表示的性能。
　　首先,針對傳統(tǒng)有監(jiān)督學習模型對于大量人工特征工程的依賴以及由此導致的輸入數(shù)據(jù)稀疏性問題,研究了分別針對并向量類數(shù)據(jù)和更加一般化有監(jiān)督學習標注數(shù)據(jù)的因子分解模型,通過將輸入特征間關系的隱式因子向量的抽象表示方

3、法,建立以預測精度為優(yōu)化目標的有監(jiān)督學習模型,從而可以將特征間的高階關系作為一種新的抽象表示特征融入模型,這種隱式因子的特征抽象表示具有更強的表達能力,從而可以提高模型的預測精度。這種有監(jiān)督學習模型中的因子分解技術雖然從一個角度實現(xiàn)了高階特征的擴展學習,但是還是需要一些人工特征工程的幫助和優(yōu)化。其次,單層的因子向量或者線性假設模型對數(shù)據(jù)的表示能力都有限,為了實現(xiàn)對輸入數(shù)據(jù)更具表達能力的抽象表示,本文隨后研究了更加強調(diào)特征自動學習的層級隱

4、式因子模型,借助于傳統(tǒng)的神經(jīng)網(wǎng)絡結構形式,可以實現(xiàn)自底向上的特征逐級學習模型從而實現(xiàn)對數(shù)據(jù)的表示學習。對于有監(jiān)督的層級模型,通過優(yōu)化網(wǎng)絡連接結構和共享權重的思想可以將傳統(tǒng)訓練困難的神經(jīng)網(wǎng)絡擴展到多層從而實現(xiàn)局部特征的有效學習;對于有監(jiān)督學習模型中可用標注數(shù)據(jù)的限制,可以采用層級因子模型基于大量可用的未標注實現(xiàn)無監(jiān)督的自學習得到數(shù)據(jù)表示模型的結構參數(shù),利用逐層無監(jiān)督學習得到的這種結構參數(shù)可以有效促進標注數(shù)據(jù)的輸入特征抽象表示,從而提高有監(jiān)