基于模板匹配需求識(shí)別的方法研究與應(yīng)用.pdf

1、傳統(tǒng)的搜索引擎的搜索方式是基于倒排索引的全文檢索，也就是根據(jù)搜索語(yǔ)句查詢索引庫(kù)中的檢索方式，并沒(méi)有很好地利用搜索語(yǔ)句所表達(dá)的含義，這樣就不能準(zhǔn)確識(shí)別出用戶的具體需求，勢(shì)必會(huì)給用戶帶來(lái)更大的搜索成本。垂直搜索的引入解決了傳統(tǒng)搜索引擎的這一不足，而實(shí)現(xiàn)垂直搜索首先就是要識(shí)別用戶搜索語(yǔ)句的含義，這也是自然語(yǔ)言處理所要解決的問(wèn)題。
　　本文設(shè)計(jì)了基于模板匹配的需求識(shí)別算法，并在這個(gè)需求識(shí)別算法的基礎(chǔ)上針對(duì)股票垂直類目詞典挖掘的具體應(yīng)用進(jìn)行

2、了設(shè)計(jì)與驗(yàn)證，提出了相關(guān)的數(shù)據(jù)結(jié)構(gòu)和算法。為了設(shè)計(jì)需求識(shí)別算法和股票垂直類目詞典挖掘方案，本文研究了相關(guān)詞典查找技術(shù)，并介紹了本文中使用的機(jī)器學(xué)習(xí)分類技術(shù)和海量數(shù)據(jù)處理技術(shù)。
　　首先，本文研究與討論了需求識(shí)別算法以及股票垂直類目詞典挖掘的常用的相關(guān)技術(shù)，包括相關(guān)數(shù)據(jù)結(jié)構(gòu)與算法、常用機(jī)器學(xué)習(xí)算法以及本文中使用的海量數(shù)據(jù)處理相關(guān)技術(shù)，包括MapReduce分布式編程模型。
　　其次，本文在前面介紹的相關(guān)技術(shù)的基礎(chǔ)上，設(shè)計(jì)了基于

3、模板匹配的需求識(shí)別算法，介紹了具體的設(shè)計(jì)思路，設(shè)計(jì)了相關(guān)數(shù)據(jù)結(jié)構(gòu)和算法。在設(shè)計(jì)的基于模板匹配的需求識(shí)別算法的基礎(chǔ)上，本文針對(duì)一個(gè)具體應(yīng)用場(chǎng)景—股票類目Query需求識(shí)別，設(shè)計(jì)股票垂直類目相關(guān)詞典挖掘方案，主要關(guān)注于特征的選擇，并應(yīng)用機(jī)器學(xué)習(xí)經(jīng)典算法邏輯回歸進(jìn)行分類。
　　最后，本文基于前面的設(shè)計(jì)，針對(duì)具體的應(yīng)用對(duì)實(shí)驗(yàn)環(huán)境、實(shí)驗(yàn)數(shù)據(jù)和實(shí)驗(yàn)過(guò)程進(jìn)行了詳細(xì)的介紹，并對(duì)本文挖掘出的股票類目模板詞典、專名詞典的召回率和準(zhǔn)確率進(jìn)行了評(píng)估。