面向問答的問句關(guān)鍵詞提取技術(shù)研究.pdf

1、問答系統(tǒng)是目前自然語言處理領(lǐng)域中的研究熱點之一，它以精準的答案直接回答用戶以自然語言方式表達的問題。在問題分析時，提取問題中的關(guān)鍵詞對于理解其語義至關(guān)重要；在問題檢索時，關(guān)鍵詞的提取的效果直接影響到信息檢索的結(jié)果和答案的相似度計算與排序。因此，關(guān)鍵詞提取是問答系統(tǒng)的基礎(chǔ)，面向問答的問句關(guān)鍵詞提取技術(shù)研究對提升問答系統(tǒng)的性能有著積極作用，能夠為問答系統(tǒng)帶來更好的用戶體驗。
　　本文重點研究了兩類問句關(guān)鍵詞提取技術(shù)：無監(jiān)督的關(guān)鍵詞提取

2、方法和有監(jiān)督的關(guān)鍵詞提取方法。有監(jiān)督的關(guān)鍵詞提取方法又分為：基于特征選擇的機器學(xué)習(xí)方法和自動學(xué)習(xí)特征的深度學(xué)習(xí)方法。
　　基于圖模型的關(guān)鍵詞提取算法發(fā)展較為迅速。本文提出了基于依存分析排序的無監(jiān)督方法提取關(guān)鍵詞，引入詞向量，從語義的角度衡量詞語的相似度，引入依存句法分析，從句法結(jié)構(gòu)的角度來表示兩個詞語之間的關(guān)聯(lián)度，利用基于圖的排序算法，更加準確地對候選詞語進行排序，提高關(guān)鍵詞抽取的效果。
　　基于特征選擇的機器學(xué)習(xí)方法提取關(guān)

3、鍵詞，將依存句法特征應(yīng)用到關(guān)鍵詞提取技術(shù)中，通過特征分析，選取最有效的特征，利用最大熵模型訓(xùn)練分類器，來判斷候選詞是否為關(guān)鍵詞。實驗結(jié)果表明，依存句法特征有助于提高關(guān)鍵詞提取的效果。
　　自動學(xué)習(xí)特征的深度學(xué)習(xí)方法提取關(guān)鍵詞，能夠讓機器自動學(xué)習(xí)關(guān)鍵詞的特征，并將特征學(xué)習(xí)融入到模型建立的過程中，避免了特征工程。在我們的研究中，利用LSTM模型構(gòu)建神經(jīng)網(wǎng)絡(luò)層次，將目標詞語的上下文信息都輸入到模型中，更好地利用了詞語的語義信息。同時，為