基于深度學習的文檔哈希.pdf

1、對文檔進行語義哈希是一種比較常見的加速相似性查找的方法。所謂語義哈希就是將文檔進行哈希編碼，并且使得在語義上相似的文檔能夠被映射到相近的哈希編碼，即具有較短的海明距離。目前現(xiàn)存的大部分文本哈希算法，都是依賴于從顯式的特征空間進行哈希編碼，比如詞計數(shù)向量和TF-IDF向量，沒有很好的利用單詞的順序和文本的句法和語義信息，而文本中單詞的順序和句法對其語義理解是極其重要的。因此，本文提出了兩種利用深度學習自動從底層詞匯序列抽取隱含語義特征的優(yōu)

2、勢來對文檔學習有效的具備語義信息的哈希編碼的算法框架:基于Doc2Vec模型的無監(jiān)督文檔哈希算法，以及基于深度神經(jīng)網(wǎng)絡的有監(jiān)督文檔哈希算法。
　　在基于Doc2Vec模型的無監(jiān)督文檔哈希算法框架中，首先借助于Doc2Vec模型對每一篇文檔生成一個緊湊的向量表示。然后選擇二進制化的拉普拉斯特征映射算法為所有文檔尋找最佳的哈希編碼;無監(jiān)督的哈希算法邏輯簡單、易于實現(xiàn)而且訓練時間短，然而由于缺乏語義標簽其哈希效果有限。于是本文又提出了另

3、一種基于深度神經(jīng)網(wǎng)絡的有監(jiān)督文檔哈希算法。
　　在基于深度神經(jīng)網(wǎng)絡的有監(jiān)督文檔哈希算法框架的設計中，借助于深度學習中的卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡，將文檔映射成具有豐富語義信息的特征向量，在此基礎上新添加一層隱含層作為哈希層來保存文檔的潛在含義，進而生成了包含潛在語義特征的哈希編碼。有監(jiān)督的文檔哈希算法將文檔檢索和分類任務結合起來，通過訓練同一個模型，能夠同時學習包含文檔潛在語義的向量表示和哈希編碼、以及文檔分類器;
　　實驗