Linux集群運(yùn)維平臺(tái)用戶(hù)權(quán)限管理及日志審計(jì)系統(tǒng)實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)行業(yè)的迅猛發(fā)展，支撐互聯(lián)網(wǎng)公司業(yè)務(wù)擴(kuò)張的Linux集群規(guī)模越來(lái)越大，傳統(tǒng)的服務(wù)器運(yùn)維管理模式已經(jīng)不能滿(mǎn)足業(yè)務(wù)需求，因此國(guó)內(nèi)各大互聯(lián)網(wǎng)公司均使用自動(dòng)化運(yùn)維平臺(tái)對(duì)Linux集群進(jìn)行統(tǒng)一管理?？v觀國(guó)內(nèi)互聯(lián)網(wǎng)公司運(yùn)維平臺(tái)發(fā)展的現(xiàn)狀，運(yùn)維平臺(tái)設(shè)計(jì)的思路類(lèi)似，實(shí)現(xiàn)的方式不盡相同。Linux集群運(yùn)維平臺(tái)設(shè)計(jì)面臨著諸多挑戰(zhàn)，如互聯(lián)網(wǎng)產(chǎn)品突發(fā)的流量變化，互聯(lián)網(wǎng)產(chǎn)品后臺(tái)服務(wù)之間復(fù)雜的關(guān)聯(lián)關(guān)系，需要支撐互聯(lián)網(wǎng)研發(fā)團(tuán)隊(duì)快速迭代的開(kāi)發(fā)模式，運(yùn)維平臺(tái)穩(wěn)定

2、性及安全性的極高要求。
　　本文主要闡述自動(dòng)化運(yùn)維平臺(tái)中與信息安全相關(guān)的模塊(用戶(hù)權(quán)限管理、日志審計(jì)系統(tǒng))的設(shè)計(jì)與實(shí)現(xiàn)。文中闡述了基于LDAP及Kerberos技術(shù)構(gòu)建用戶(hù)權(quán)限驗(yàn)證服務(wù)的過(guò)程，并提出使用Rsyslogd工具收集驗(yàn)證服務(wù)的日志以保證用戶(hù)權(quán)限驗(yàn)證服務(wù)的安全性；文中描述了基于Fluentd及MongoDB技術(shù)構(gòu)建日志審計(jì)系統(tǒng)的設(shè)計(jì)思路及實(shí)現(xiàn)細(xì)節(jié)，并通過(guò)案例分析，介紹日志審計(jì)系統(tǒng)在生產(chǎn)環(huán)境中的實(shí)踐。
　　首先，文中闡

3、述了用戶(hù)統(tǒng)一認(rèn)證技術(shù)研究現(xiàn)狀，安全性日志分析及海量日志實(shí)時(shí)分析處理方法的研究現(xiàn)狀。通過(guò)分析，論文提出了使用LDAP和Kerberos技術(shù)為基礎(chǔ)構(gòu)建用戶(hù)用戶(hù)權(quán)限統(tǒng)一認(rèn)證服務(wù)，并通過(guò) Rsyslogd收集用戶(hù)權(quán)限統(tǒng)一認(rèn)證服務(wù)的日志；日志審計(jì)部分，文中描述了Splunk，Scribe，Hive等國(guó)內(nèi)外流行的海量日志分析工具的優(yōu)缺點(diǎn)，論文最終提出了以Fluentd/MongoDB為技術(shù)基礎(chǔ)構(gòu)建Linux集群運(yùn)維平臺(tái)日志審計(jì)系統(tǒng)；基于Fluent

4、d開(kāi)發(fā)日志收集工具，將日志推送到MongoDB，利用MongoDB的靈活性和高性能解決海量日志分析的實(shí)時(shí)性問(wèn)題。安全性審計(jì)方面，論文基于Mongodb中存儲(chǔ)的實(shí)時(shí)日志數(shù)據(jù)，使用運(yùn)維團(tuán)隊(duì)在實(shí)踐工作中積累的規(guī)則引擎進(jìn)行安全性實(shí)時(shí)匹配，對(duì)可能存在的黑客入侵行為進(jìn)行實(shí)時(shí)分析及告警。
　　在此基礎(chǔ)上，文中詳細(xì)闡述了如何安裝和配置LDAP及KDC服務(wù)器，以及如何使用LVS/Keepalived技術(shù)實(shí)現(xiàn)用戶(hù)權(quán)限認(rèn)證服務(wù)的高可用性。文中描述了互聯(lián)

5、網(wǎng)公司負(fù)載均衡服務(wù)器構(gòu)建的方式，分析了工作在第一線的運(yùn)維工程師對(duì)Linux集群運(yùn)維平臺(tái)的具體需求，運(yùn)維工程師需要利用Linux集群運(yùn)維平臺(tái)精確把握網(wǎng)站各個(gè)域名的實(shí)時(shí)健康狀況，響應(yīng)時(shí)間的變化趨勢(shì)，在黑客入侵行為發(fā)生時(shí)能第一時(shí)間接受到報(bào)警信息。實(shí)現(xiàn)的難點(diǎn)是需要處理日志量太大，網(wǎng)站每天都會(huì)產(chǎn)生將近TB級(jí)別的日志，而且日志文件太分散，很難進(jìn)行集中式的分析。文中闡述了如何配置Fluentd日志收集插件，使得分散在各個(gè)數(shù)據(jù)中心的。MongoDB日志

6、存儲(chǔ)方案具體設(shè)計(jì)，及日志實(shí)時(shí)分析程序的設(shè)計(jì)思路及實(shí)現(xiàn)方法。文中詳細(xì)分析了Fluentd/Mongodb解決方案開(kāi)發(fā)過(guò)程中遇到的問(wèn)題是如何解決的，包括MongoDB舊數(shù)據(jù)清理及MongoDB數(shù)據(jù)查詢(xún)性能優(yōu)化。
　　最后，論文描述了對(duì)Linux集群運(yùn)維平臺(tái)用戶(hù)權(quán)限管理及日志審計(jì)模塊進(jìn)行了性能和功能兩方面驗(yàn)證的實(shí)踐過(guò)程。性能驗(yàn)證方面，LDAP、Kerberos認(rèn)證服務(wù)器以良好的性能通過(guò)了壓力測(cè)試，日志審計(jì)系統(tǒng)對(duì)日志實(shí)時(shí)處理的能力也達(dá)到了