非結(jié)構(gòu)化數(shù)據(jù)查詢處理與優(yōu)化.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，諸如文本、圖片、視頻、音頻的非結(jié)構(gòu)化數(shù)據(jù)越來越多，為了存儲管理這些海量的非結(jié)構(gòu)化數(shù)據(jù)，出現(xiàn)了各種非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)。非結(jié)構(gòu)化數(shù)據(jù)的查詢處理和查詢優(yōu)化問題成為非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)中的一個重要問題。非結(jié)構(gòu)化數(shù)據(jù)的查詢相對于結(jié)構(gòu)化數(shù)據(jù)的查詢主要多出了兩種重要操作，即相似性檢索和相似性連接。
　　本文首先綜述了能夠處理非結(jié)構(gòu)化數(shù)據(jù)的NoSQL數(shù)據(jù)庫和可以支持分布式查詢的Hive，還綜述了相似性檢索和相似性連接的概念、分

2、類和算法。針對非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)中的查詢處理和查詢優(yōu)化問題，本文結(jié)合D-Ocean非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)提出了非結(jié)構(gòu)化數(shù)據(jù)查詢處理的框架D-Search。它具有既能支持非結(jié)構(gòu)數(shù)據(jù)的相似性檢索和相似性連接，又能支持簡單的結(jié)構(gòu)化數(shù)據(jù)查詢，還具有針對非結(jié)構(gòu)化數(shù)據(jù)的基于準則的優(yōu)化和基于代價估算模型的優(yōu)化方式。本文還針對相似性檢索和相似性連接兩種非結(jié)構(gòu)化數(shù)據(jù)的查詢操作，分析它們的查詢處理流程和查詢算法，給出了進行代價估算的方案，并設(shè)計實驗驗證這些