基于最大熵海量網(wǎng)絡(luò)POI數(shù)據(jù)判重技術(shù)的研究.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，基于位置的服務(wù)極大的提高了人們出行的方便，基于位置的服務(wù)也成為工業(yè)界和學(xué)術(shù)界的研究熱點(diǎn)；與此同時(shí)，基于位置服務(wù)的內(nèi)容和應(yīng)用模式也隨著人們獲取信息的需求不斷的變化?；谖恢玫姆?wù)蘊(yùn)涵著巨大的商業(yè)價(jià)值，已經(jīng)成為各大互聯(lián)網(wǎng)廠家相互爭(zhēng)奪的陣地。興趣點(diǎn)（POI）是位置服務(wù)平臺(tái)的一種基礎(chǔ)數(shù)據(jù)元素，其質(zhì)量直接影響到位置服務(wù)的質(zhì)量。然而，POI數(shù)據(jù)來源廣泛，數(shù)據(jù)格式多樣，有效信息缺失或錯(cuò)誤等問題，給POI數(shù)據(jù)的融合更新帶來了很大的

2、困難。有效的更新POI數(shù)據(jù)庫(kù)，使其能更好的對(duì)應(yīng)不斷變化地理實(shí)體，既是現(xiàn)實(shí)的客觀需求，也可以更好的滿足用戶多樣化的信息需求，推動(dòng)各廠商位置服務(wù)向著內(nèi)容豐富、服務(wù)精準(zhǔn)和便捷高效發(fā)展。針對(duì)互聯(lián)網(wǎng)上多源異構(gòu)POI數(shù)據(jù)的融合的問題，本文所做的工作主要包括以下幾個(gè)方面的內(nèi)容：
　?。?）網(wǎng)絡(luò)POI數(shù)據(jù)的收集和預(yù)處理。首先分析各大基于位置服務(wù)網(wǎng)站的技術(shù)結(jié)構(gòu)，利用python腳本設(shè)計(jì)爬蟲算法，抽取相關(guān)網(wǎng)絡(luò)平臺(tái)的POI數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行清洗，將不同格

3、式的數(shù)據(jù)統(tǒng)一到標(biāo)準(zhǔn)格式下，尤其是將不同坐標(biāo)系下的空間屬性，轉(zhuǎn)換到同一的經(jīng)緯度坐標(biāo)下。
　?。?）基于POI數(shù)據(jù)空間和屬性的約束關(guān)系，針對(duì)海量POI數(shù)量難以在有效的時(shí)間內(nèi)處理的問題，設(shè)計(jì)一種哈希索引方法，這種方法使得加入新POI數(shù)據(jù)的比較過程，局限在一個(gè)較小的POI數(shù)據(jù)集合內(nèi)，使得數(shù)據(jù)的融合判重過程得以順利進(jìn)行。
　?。?）POI各屬性的相似度分級(jí)判定規(guī)則，POI的比較是綜合比較各屬性的結(jié)果，每個(gè)屬性的相同或不相同，難以客觀反

4、映現(xiàn)實(shí)，通過細(xì)分各相似度的等級(jí)，使其更加準(zhǔn)確，為最大熵模型的輸入輸入創(chuàng)造條件。
　?。?）基于最大熵模型的判重方法，分別比較一對(duì)POI的經(jīng)緯度，名稱和地址的相似度，利用人工確定樣本訓(xùn)練最大熵模型，將POI層輸出的相似度等級(jí)作為特征輸入，利用最大熵模型得到一個(gè)綜合的相似度，然后取一個(gè)閥值來衡量一對(duì)POI點(diǎn)是否重復(fù)。實(shí)驗(yàn)結(jié)果表明，本文提出的技術(shù)可以在少量人工的干預(yù)下，極大的提高網(wǎng)絡(luò)POI數(shù)據(jù)的融合更新效率，并且具有較低誤判率，能夠提高