技術報告-基于dns日志分析的用戶在線檢測算法與應用

1、基于DNS日志分析的用戶在線檢測算法與應用,清華大學 常得量,目錄,問題背景現(xiàn)有方法概述基于DNS方法的特點算法描述算法驗證討論與應用總結和未來工作參考文獻,問題背景,不同的研究[1-4]從不同的角度測量用戶在線的行為特征。這些研究都涉及了一個問題：如何判斷設備或用戶到達、離開網(wǎng)絡的時間，如何識別用戶或設備的在線狀態(tài)。,了解設備的在線狀態(tài)，了解用戶的網(wǎng)絡特征，被廣泛使用在網(wǎng)絡管理、網(wǎng)絡建模、模擬上。對于網(wǎng)絡管理者、研究

2、者和開發(fā)者來說都有十分重要的意義。 在大規(guī)模網(wǎng)絡中，如何通用地測量大量網(wǎng)絡設備的基本信息？,現(xiàn)有方法,基于認證系統(tǒng)：使用用戶認證方法來確定用戶在線規(guī)模。只有在要求認證的環(huán)境下才有效，適用范圍不廣。同時會有隱私問題?；贒HCP：使用DHCP租約系統(tǒng)當作設備在線系統(tǒng)。不適用于靜態(tài)IP，無法準確判斷設備離線時間，同時有IPv6遷移問題?；诟黝悢?shù)據(jù)采集：必須擁有網(wǎng)關處的管理權限。這對于一些網(wǎng)絡研究者比較困難。其他方法：網(wǎng)絡游戲服務器

3、端數(shù)據(jù)采集[4]、基于基站數(shù)據(jù)的方法[5]等等。限制太多，不能為日常的網(wǎng)絡研究和管理提供太多幫助。,Why DNS log analysis?,通用性：DNS是網(wǎng)絡的基礎設施，被幾乎所有網(wǎng)絡服務所應用。同時，使用DNS的方法也沒有IPv6遷移問題。方便部署：基于DNS日志分析，不需要更改現(xiàn)有網(wǎng)絡或增設大量的測量節(jié)點。方便增量部署。約束更小：基于DNS的方法不需要擁有網(wǎng)關的管理權限。只需要設備使用提供的DNS服務即可。適用于大規(guī)模網(wǎng)

4、絡：DNS日志數(shù)據(jù)量小，處理起來方便快捷。,在線檢測算法描述,基于時間間隔的模型當相鄰的DNS請求時間間隔小于T時，則視作從同一個設備發(fā)出，之前設備仍然在線。反之，如果相鄰請求間隔大于T，則視作設備下線。,算法的驗證(1),依據(jù)DHCP日志記載的設備“切換”信息作為真實值，來檢測用戶上下線的時間判斷是否準確。使用精確率(precision rate)、召回率(recall rate)和F1-score來評價效果。在閾值T較小時

5、，召回率保持在一個很高的水準，而精確率上升很快。這是因為在DNS分割策略激進的情況下，DHCP的判定結果被很好的概括了，但是卻出現(xiàn)了大量的誤分段現(xiàn)象。,DNS用戶在線檢測算法效果PR曲線,算法的驗證(2),隨著T變大，精確率一直在升高。而召回率出現(xiàn)了緩慢的下降，意味著時間閾值T可能開始接近并超過IP釋放的時間。在判斷閾值T=40分鐘時，精確率和召回率都達到最優(yōu)。約為90%。清洗DHCP數(shù)據(jù)標定，消除以下的情況，最終召回率最終能達到9

6、6.3%。 設備拿到IP地址后未繼續(xù)使用網(wǎng)絡。設備未使用DHCP提供的DNS服務，因而未被DNS日志記錄。,DNS用戶在線檢測算法效果PR曲線,無線網(wǎng)的時域信息,右圖的數(shù)據(jù)采集自是2014年11月某日（星期三）凌晨4:00至第二天凌晨4:00的無線網(wǎng)絡。紅色點線是1min內新加入用戶的數(shù)量，使用左邊的縱軸；藍色實線是用戶的在線數(shù)量，使用右邊的縱軸。無線網(wǎng)絡的時域分析非常明顯地顯示出了清華大學校園生活的特點。上課時人數(shù)增加，下課

7、后減少。夜間、午飯和晚飯是大的低谷，課間是小的低谷。無線網(wǎng)絡還未覆蓋食堂。用戶不喜歡在吃飯時間上網(wǎng)。,有線和無線網(wǎng)絡的對比,右圖的數(shù)據(jù)采集同樣時段的校園有線網(wǎng)絡。有線網(wǎng)絡和無線網(wǎng)絡顯著不同?？傮w來說，也是日間用戶多，夜間用戶少。但有線網(wǎng)絡整體而言更平緩。由于有大量徹夜不關的設備，有線網(wǎng)夜間的用戶數(shù)量遠多于無線網(wǎng)。有線網(wǎng)用戶的每分鐘加入數(shù)量顯著得更低，變化頻率也更小。早晨6:00，有一個用戶加入的高峰。這是由于送電瞬間，很

8、多設備（如NAT路由）會訪問網(wǎng)絡。這一現(xiàn)象在無線網(wǎng)絡中不會出現(xiàn)。,工作日和周末的對比,右圖的數(shù)據(jù)采集自2014年11月的一個星期日的校園無線網(wǎng)絡。周末網(wǎng)絡情況也和工作日有所不同?？傮w來說，峰谷值類似工作日的無線網(wǎng)絡。用戶的數(shù)量和活躍程度都減少了?？赡苁且驗橹苣┰跓o線網(wǎng)覆蓋地區(qū)的人數(shù)變少。不再有明顯的跟課程教學相關的變化，而是和城市其他的工作區(qū)域的特征較為相似[5]。,總結,提出了一種基于被動DNS分析的用戶/設備在線檢測手段，可

9、以識別設備到達和離開網(wǎng)絡的時刻，判斷設備的在線狀態(tài)。達到90.6%的精確率和96.3%的召回率。,從時域給出了清華大學校園網(wǎng)絡的在線和設備到達情況進行了測量。從無線有線網(wǎng)的對比和工作日和周末的對比等方面，分別對網(wǎng)絡狀況進行了分析，以期對網(wǎng)絡管理提出幫助。,進一步工作,分析用戶的其他行為特征，以便于更好地了解用戶和網(wǎng)絡。比如：操作系統(tǒng)使用行為習慣設計異常檢測算法，應用統(tǒng)計信息分析網(wǎng)絡異常。實時性檢測，便于日常網(wǎng)絡管理的使用。,參

10、考文獻,[1] Kotz D, Essien K. Analysis of a Campus-Wide Wireless Network[J]. Wireless Networks, 2005, 11(1–2): 115–133.[2] Nuzman C, Saniee I, Sweldens W, et al. A compound model for TCP connection arrivals for LAN and WAN

11、applications[J]. Computer Networks, 2002, 40(3): 319–337.[3] Benevenuto F, Rodrigues T, Cha M, et al. Characterizing User Behavior in Online Social Networks[C]//Proceedings of the 9th ACM Sigcomm Conference on Internet

12、Measurement Conference. New York, NY, USA: ACM, 2009: 49–62.[4] Henderson T, Bhatti S. Modelling User Behaviour in Networked Games[C]//Proceedings of the Ninth ACM International Conference on Multimedia. New York, NY, U