復(fù)雜工程系統(tǒng)監(jiān)測(cè)數(shù)據(jù)檢索模型研究與應(yīng)用.pdf

1、在復(fù)雜工程系統(tǒng)中，監(jiān)測(cè)系統(tǒng)將分布著的各種類型的系統(tǒng)數(shù)據(jù)進(jìn)行整合，實(shí)現(xiàn)資源共享和整體操控。這也就造成了在該監(jiān)測(cè)系統(tǒng)中數(shù)據(jù)量較大，維度高，數(shù)據(jù)類型多。其中，數(shù)據(jù)量大是最為突出的問(wèn)題，其不止包括海量的歷史運(yùn)行數(shù)據(jù)，還包括在評(píng)估系統(tǒng)或子系統(tǒng)工況時(shí)需要在可接受時(shí)間范圍內(nèi)檢索到大量數(shù)據(jù)。
　　并且在復(fù)雜工程系統(tǒng)中，通過(guò)經(jīng)驗(yàn)的積累，會(huì)形成相當(dāng)多的以中文文檔形式出現(xiàn)的數(shù)據(jù)，這一類非結(jié)構(gòu)化數(shù)據(jù)用于解釋系統(tǒng)的特性，以及各設(shè)備的數(shù)據(jù)特征表明的問(wèn)題以及解

2、決辦法。
　　在利用復(fù)雜工程系統(tǒng)海量數(shù)據(jù)的過(guò)程中，首先要從數(shù)據(jù)庫(kù)或者數(shù)據(jù)文件中將大量的目標(biāo)數(shù)據(jù)準(zhǔn)確快速的檢索出來(lái)，滿足上層應(yīng)用對(duì)數(shù)據(jù)的處理分析，以支持決策層對(duì)工業(yè)流程的一個(gè)全程把控。如何更實(shí)時(shí)準(zhǔn)確的完成數(shù)據(jù)的檢索，有著相當(dāng)重要的實(shí)用價(jià)值。
　　對(duì)于結(jié)構(gòu)化數(shù)據(jù)，通常采用RDBMS（Relational Database Management System）技術(shù)來(lái)管理。在對(duì)結(jié)構(gòu)化數(shù)據(jù)的檢索效率研究過(guò)程中發(fā)現(xiàn)，由于傳統(tǒng)數(shù)據(jù)庫(kù)受到磁

3、盤機(jī)械旋轉(zhuǎn)定位時(shí)間長(zhǎng)和I/O等限制，不能滿足數(shù)據(jù)處理的時(shí)效性的要求。針對(duì)結(jié)構(gòu)化數(shù)據(jù)的組織和管理，結(jié)合現(xiàn)階段內(nèi)存容量不斷增大并且有大量?jī)?nèi)存空間被閑置的情況，本文研究了主存數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和索引技術(shù)等關(guān)鍵技術(shù)。并從高速緩存的行對(duì)齊和范圍查詢的角度提出一種優(yōu)化的 T樹索引算法。以此建立數(shù)據(jù)的內(nèi)存副本，通過(guò)內(nèi)存的高速有效的訪問(wèn)，提升數(shù)據(jù)的檢索時(shí)間效率。
　　對(duì)于中文文檔的全文檢索，主要關(guān)心檢索的準(zhǔn)確性問(wèn)題。影響檢索準(zhǔn)確性的主要原因是對(duì)

4、中文文檔的語(yǔ)義分詞準(zhǔn)確性和高效性。為了滿足實(shí)用性要求，本文提出了一種基于詞典和統(tǒng)計(jì)的中文分詞算法。該算法主要流程分為預(yù)處理、初分、歧義消除、規(guī)則修正。在初分模塊中，針對(duì)二字詞及二字以上詞占語(yǔ)料庫(kù)的絕大部分的情況，采用雙字哈希詞典機(jī)制，提升初分的效率。對(duì)歧義字段的檢測(cè)，提出一種優(yōu)化的雙向最大匹配檢測(cè)算法。利用基于統(tǒng)計(jì)的方式消除歧義。最后，通過(guò)一個(gè)人工的規(guī)則庫(kù)，對(duì)分詞結(jié)果進(jìn)一步修正。使檢索盡可能的按照自然語(yǔ)言的語(yǔ)義返回結(jié)果。
　　最后