線性鏈條件隨機(jī)場(chǎng)訓(xùn)練算法優(yōu)化的研究.pdf

1、由JohnLafferty等人在2001年提出的條件隨機(jī)域(conditionalrandomfields,CRF)模型是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要里程碑,它綜合了以往機(jī)器學(xué)習(xí)中幾種模型的優(yōu)點(diǎn),包括隱馬爾可夫模型,最大熵隱馬模型,同時(shí)也避免了MEMM中標(biāo)記偏見(jiàn)的問(wèn)題。因?yàn)樗倪@些優(yōu)點(diǎn),CRF被廣泛應(yīng)用于機(jī)器學(xué)習(xí)領(lǐng)域,特別是自然語(yǔ)言處理中,包括命名實(shí)體提取、詞性標(biāo)注等。
　　在有著廣泛的應(yīng)用和眾多的優(yōu)點(diǎn)的同時(shí),CRF也存在著不足之處。其

2、中一個(gè)顯著的不足就是訓(xùn)練一個(gè)CRF模型需要耗費(fèi)大量的計(jì)算資源。首先,CRF的訓(xùn)練需要耗費(fèi)大量的內(nèi)存資源,在進(jìn)行大數(shù)據(jù)量的訓(xùn)練的時(shí)候,所使用的內(nèi)存常常會(huì)超出微機(jī)的物理內(nèi)存,使得操作系統(tǒng)使用磁盤作為交換空間,大量的I/O操作會(huì)嚴(yán)重影響訓(xùn)練效率;其次,CRF訓(xùn)練的計(jì)算本身也需要耗費(fèi)大量的計(jì)算時(shí)間,數(shù)據(jù)量大的訓(xùn)練通常需要耗費(fèi)數(shù)天甚至數(shù)周才能完成。這不僅僅是因?yàn)樗惴ū旧淼膹?fù)雜度,還跟目前的算法沒(méi)能有效利用現(xiàn)代計(jì)算機(jī)硬件特性有關(guān)。
　　本研究

3、的目的是,通過(guò)優(yōu)化CRF的訓(xùn)練算法,使得算法可以有效利用現(xiàn)代CPU的特性,并使內(nèi)存-磁盤問(wèn)的數(shù)據(jù)交換操作得到優(yōu)化,從而提高CRF模型的訓(xùn)練效率。同以往的CRF相關(guān)研究不同,本研究從一個(gè)計(jì)算機(jī)架構(gòu)的角度研究了提高CRF訓(xùn)練效率的方法。就我們所知,目前通過(guò)優(yōu)化算法來(lái)有效利用現(xiàn)代計(jì)算機(jī)特性來(lái)的研究也較多,但針對(duì)CRF算法的目前還尚未出現(xiàn)。由于CRF被廣泛使用在機(jī)器學(xué)習(xí)領(lǐng)域,本研究可以讓使用CRF的研究者和開(kāi)發(fā)人員在測(cè)試、應(yīng)用算法模型時(shí)節(jié)省大量

4、的時(shí)間和精力。
　　本文從以下三個(gè)方面解決CRF訓(xùn)練效率低下的問(wèn)題:
　　1.通過(guò)優(yōu)化算法,降低CPUCache失效率。設(shè)計(jì)一個(gè)適合Cache預(yù)取的算法,可以通過(guò)使用現(xiàn)代CPU的軟件預(yù)取(softwareprefetching)指令,降低CPUCache的失效率,從而減少cache失效帶來(lái)的性能損失;
　　2.通過(guò)優(yōu)化算法,使得算法中計(jì)算的并行性得到提高。設(shè)計(jì)算法充分利用CPU特性,可以提高CRF訓(xùn)練時(shí)計(jì)算的并行性;<