面向自由文本的信息抽取方法研究.pdf

1、隨著互聯(lián)網(wǎng)的廣泛應(yīng)用以及各種辦公系統(tǒng)的無(wú)紙化，各種電子形式的文本文檔正以指數(shù)級(jí)的速度迅速增長(zhǎng)，如何從這些海量的文本文檔中快速有效的找到有用的信息，成為信息檢索領(lǐng)域的重要研究方向。信息抽取正是一個(gè)有效的解決方法，是具有較高實(shí)用價(jià)值的關(guān)鍵技術(shù)，因此它成為自然語(yǔ)言處理的一個(gè)重要研究問(wèn)題。目前，在中文信息抽取已有的研究中，大多數(shù)都是集中在基于分詞和文本分塊的研究上，面向的對(duì)象也多為結(jié)構(gòu)化和半結(jié)構(gòu)化的文本。
　　 針對(duì)上述研究存在的不足，

2、本文以自由文本為研究對(duì)象，通過(guò)對(duì)大量文本的觀察、分析和總結(jié)，確定關(guān)鍵句在文本中的特征以及與文本中非關(guān)鍵句之間的關(guān)系。本文提出一種面向自由文本的關(guān)鍵句抽取算法，該算法運(yùn)用語(yǔ)義在自然語(yǔ)言處理中的優(yōu)勢(shì)對(duì)文本進(jìn)行句子的語(yǔ)義相似度計(jì)算，再結(jié)合文本分析中總結(jié)的關(guān)鍵句特征，實(shí)現(xiàn)對(duì)自由文本的關(guān)鍵句抽取。本算法對(duì)于主題比較鮮明的文本文檔可以達(dá)到較好的抽取效果。在此基礎(chǔ)之上，本文還研究了對(duì)非結(jié)構(gòu)化的句子或者標(biāo)題句的抽取算法，該算法在運(yùn)用依存分析對(duì)句子進(jìn)行淺

3、層句法分析的基礎(chǔ)上制定相應(yīng)規(guī)則，形成輸入序列，再結(jié)合HMM易于建立、適應(yīng)性好、抽取精度較高的優(yōu)勢(shì)，實(shí)現(xiàn)自由文本的信息抽取。實(shí)驗(yàn)表明，新的算法在召回率、準(zhǔn)確率和正確率指標(biāo)上均有良好的性能，這說(shuō)明了算法的有效性，同時(shí)該算法減少了轉(zhuǎn)移狀態(tài)，從而使抽取的效率也能獲得提高。
　　 本文在研究中，靈活運(yùn)用依存分析在淺層句法分析中的優(yōu)勢(shì)以及語(yǔ)義的相關(guān)計(jì)算在句子相似度計(jì)算中更高的準(zhǔn)確度，為信息抽取工作打開(kāi)了新思路，因此本文的研究具有一定的理論和