關(guān)鍵詞抽取方法研究及應(yīng)用.pdf

1、關(guān)鍵詞抽取是自然語言處理中的基礎(chǔ)與核心技術(shù)。通常對(duì)非結(jié)構(gòu)化文本的自動(dòng)處理，如自動(dòng)文摘、文本聚類、自動(dòng)問答等，均需要先進(jìn)行關(guān)鍵詞抽取。關(guān)鍵詞是表達(dá)文檔主題意義的最小單位，能夠概括文檔的主題信息。傳統(tǒng)的抽取方法是依據(jù)文檔中詞匯的統(tǒng)計(jì)信息，計(jì)算各詞匯的權(quán)重，抽取關(guān)鍵詞。這類方法的缺陷是沒有考慮詞的主題表達(dá)能力，有很大概率抽取出一些常用詞，使得關(guān)鍵詞存在歧義性，不能準(zhǔn)確概括文檔的主題信息。針對(duì)這一缺陷，本文從兩方面研究詞的主題特性：研究詞的主題

2、特征對(duì)關(guān)鍵詞抽取效果的影響；研究詞的主題關(guān)聯(lián)作用并應(yīng)用于抽取微博關(guān)鍵詞。論文主要工作包括：
　?、贅?gòu)造了基于主題特征的關(guān)鍵詞抽取模型。使用有監(jiān)督的機(jī)器學(xué)習(xí)方法，并新增了詞的主題特征(Topic Feature,TF)，構(gòu)建關(guān)鍵詞抽取模型。該模型首先使用LDA主題模型模擬文檔集中主題和詞的分布情況；再依據(jù)該分布情況計(jì)算詞的主題特征；最后使用裝袋決策樹訓(xùn)練關(guān)鍵詞抽取模型。實(shí)驗(yàn)驗(yàn)證主題特征可以提升關(guān)鍵詞抽取的效果，在抽取10個(gè)關(guān)鍵詞時(shí)，