文本中知識(shí)的獲取.pdf

1、人類通過文字來描述世界、表達(dá)思想，文本是人類智慧傳承的重要媒介。隨著知識(shí)經(jīng)濟(jì)時(shí)代的到來，文檔知識(shí)管理在學(xué)術(shù)界和企業(yè)界引起了廣泛關(guān)注。但是文檔知識(shí)管理系統(tǒng)面臨著幾個(gè)重要問題：如何識(shí)別文檔主題，如何識(shí)別文檔中心詞；如何對(duì)用戶所關(guān)心的內(nèi)容進(jìn)行個(gè)性化的關(guān)鍵性提示；如何精確返回用戶希望得到信息。關(guān)鍵詞獲取技術(shù)和信息抽取技術(shù)是文本處理中的重要技術(shù)，可以在一定程度上解決上述問題。本文對(duì)基于語義詞典的單文本關(guān)鍵詞獲取技術(shù)，信息抽取技術(shù)中的規(guī)則生成機(jī)制進(jìn)

2、行了研究，主要的研究工作和研究成果包括： 1)基于語義網(wǎng)絡(luò)與UW-PageRank算法的詞義消歧提出了基于語義網(wǎng)絡(luò)和UW-PageRank結(jié)合的知識(shí)詞義消歧算法，能夠?qū)ξ臋n中出現(xiàn)的任何詞語(同時(shí)包含在知識(shí)庫內(nèi))進(jìn)行實(shí)時(shí)消歧處理，不需要語料庫，無須訓(xùn)練。 針對(duì)中文文本，以HowNet為語義知識(shí)庫，以義原為節(jié)點(diǎn)，義原間的相關(guān)性為邊的權(quán)重構(gòu)造無向賦權(quán)網(wǎng)絡(luò)，表達(dá)文本內(nèi)容。使用UW-PageRank算法評(píng)價(jià)義原的權(quán)重，進(jìn)而計(jì)算義項(xiàng)

3、的權(quán)重；對(duì)每一個(gè)詞語來說，權(quán)重最高的義項(xiàng)即為其含義。分別采用全文標(biāo)注試驗(yàn)與SENSEVAL-3評(píng)測(cè)集對(duì)算法進(jìn)行了評(píng)價(jià)。 針對(duì)英文文本，以WordNet為語義知識(shí)庫，以Synset為節(jié)點(diǎn)，Synset間的相關(guān)性為邊的權(quán)重構(gòu)造無向賦權(quán)網(wǎng)絡(luò)，表達(dá)文本內(nèi)容；使用UW-PageRank算法評(píng)價(jià)Synset的權(quán)重；根據(jù)Synset的權(quán)重并結(jié)合共指詞義現(xiàn)象、詞義常用性等因素進(jìn)行詞義消歧。在SemCor數(shù)據(jù)集對(duì)算法進(jìn)行了評(píng)測(cè)。 2)基于

4、語義網(wǎng)絡(luò)與UW-PageRank算法的關(guān)鍵詞抽取提出了基于語義網(wǎng)絡(luò)與UW-PageRank算法的單文本關(guān)鍵詞抽取算法。在詞義消歧的基礎(chǔ)上，文本中的所有詞語都具有確定的詞義，對(duì)語義網(wǎng)絡(luò)進(jìn)行剪裁，去掉詞語的其他義項(xiàng)，此時(shí)語義網(wǎng)絡(luò)中的節(jié)點(diǎn)即為該詞在文本中的義項(xiàng)，然后使用UW-PageRank公式挖掘出重要的詞義，其對(duì)應(yīng)的詞語即為文本關(guān)鍵詞。 在對(duì)中英文科技論文的手工標(biāo)注數(shù)據(jù)集上，與Tf方法進(jìn)行比較，結(jié)果表明了算法的有效性。 3

5、)啟發(fā)式的漢語信息抽取規(guī)則生成算法——RGA-CIE提出了一種啟發(fā)式的漢語信息抽取系統(tǒng)的規(guī)則生成算法——RGA-CIE(RuleGeneration Algorithm for Chinese Information Extraction)。采用有監(jiān)督的自底向上規(guī)則學(xué)習(xí)過程，能夠根據(jù)中文的特點(diǎn)進(jìn)行啟發(fā)式的逐步泛化，同時(shí)采用Laplacian*算子作為評(píng)價(jià)生成規(guī)則的效果。Laplacian*算子能夠很好的平抑覆蓋率與準(zhǔn)確率的矛盾；采用語義