面向結(jié)構(gòu)化數(shù)據(jù)的實(shí)體解析方法.pdf

1、實(shí)體解析是一種在結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中抽取、匹配與合并代表著同一現(xiàn)實(shí)世界實(shí)體的數(shù)據(jù)的處理過程。尤其在大數(shù)據(jù)時(shí)代，實(shí)體解析問題是數(shù)據(jù)庫管理、信息檢索、機(jī)器學(xué)習(xí)、自然語言處理與統(tǒng)計(jì)等領(lǐng)域的一個(gè)長(zhǎng)期存在的挑戰(zhàn)。實(shí)體解析具有很多別名，如記錄鏈接、去重、交叉引用解析、引用調(diào)解、對(duì)象鞏固等。精確與快速的實(shí)體解析在商業(yè)、科學(xué)、安全等領(lǐng)域的諸多方面具有重大的實(shí)際意義。反之，低質(zhì)的實(shí)體解析通常會(huì)帶來諸多問題。比如，實(shí)體解析不好，會(huì)導(dǎo)致重復(fù)數(shù)據(jù)的存在，它會(huì)

2、扭曲從數(shù)據(jù)中獲取的信息，也為后續(xù)的數(shù)據(jù)挖掘、建立決策支持系統(tǒng)、應(yīng)用商務(wù)智能等帶來隱患。
　　由于面向非結(jié)構(gòu)化的實(shí)體解析通常都特定于應(yīng)用，而本文旨在研究更具有通用性的實(shí)體解析方法，所以本文將關(guān)注點(diǎn)放在面向結(jié)構(gòu)化的實(shí)體解析。此外，匹配與合并函數(shù)均被視為黑盒，不關(guān)注其內(nèi)部實(shí)現(xiàn)細(xì)節(jié)，關(guān)注的是如何盡可能少地減少匹配與合并函數(shù)的調(diào)用次數(shù)。具體而言:
　　(1)針對(duì)無置信度的數(shù)據(jù)集，通過訓(xùn)練提取出匹配核，然后對(duì)匹配核進(jìn)行統(tǒng)計(jì)學(xué)習(xí)，再依據(jù)學(xué)

3、習(xí)結(jié)果對(duì)數(shù)據(jù)集分塊。分塊的目的是隔離塊與塊之間的記錄，將記錄的比較限制在塊內(nèi)，從而減少了匹配與合并函數(shù)的調(diào)用，提高了實(shí)體解析的效率。
　　(2)針對(duì)帶置信度的數(shù)據(jù)集，因?yàn)橛涗浀暮喜㈨樞虿煌赡軐?dǎo)致最終結(jié)果不同，所以實(shí)體解析需要考慮記錄的所有合并方案并從中選取最佳方案。本文通過訓(xùn)練獲得置信度合并詞典，在判斷哪種合并方案最佳時(shí)，通過置信度合并詞典就可以大大減少合并函數(shù)的調(diào)用，從而使得實(shí)體解析的性能得到了提升。此外，本文提出了一種帶置信