高可用數(shù)據(jù)庫架構(gòu) - 技術(shù)開發(fā)頻道 it168

1、高可用數(shù)據(jù)庫平臺架構(gòu) 及日常管理經(jīng)驗介紹,研發(fā)中心 邵宗文 szw2001@gmail.com,,傳統(tǒng)基礎(chǔ)設(shè)施平臺 無法解決擁堵問題，不適合繁華地區(qū)。,高可用的基礎(chǔ)設(shè)施平臺,為何需要搭建數(shù)據(jù)庫平臺,各大部門自己申請數(shù)據(jù)庫服務(wù)器，運維成本過高。操作系統(tǒng)，數(shù)據(jù)庫版本不一。出現(xiàn)突發(fā)熱點，造成數(shù)據(jù)庫讀寫訪問

2、巨增，受限于部門數(shù)據(jù)庫資源機(jī)器，而錯失擴(kuò)大業(yè)務(wù)良機(jī)。缺乏統(tǒng)一的數(shù)據(jù)庫服務(wù)器性能監(jiān)控和報警。新項目產(chǎn)品上線數(shù)量過多，單個部門的數(shù)據(jù)庫資源無法滿足。無專門的人進(jìn)行全局?jǐn)?shù)據(jù)庫各種讀寫操作統(tǒng)計的分析。存在磁盤故障導(dǎo)致不可訪問，無自動切換的問題。,目前新浪數(shù)據(jù)庫平臺現(xiàn)狀,多個IDC數(shù)據(jù)中心Mysql5.0數(shù)據(jù)庫服務(wù)幾百臺.(不斷增長中)約有幾百T的數(shù)據(jù)量.（線上+備份存檔）約有幾百個項目產(chǎn)品使用。平臺重點產(chǎn)品有：財經(jīng)，體育，統(tǒng)一

3、通行證，無線wap，讀書，音樂，空間, 通用投票，博客圈，博客雜志，汽車，科技，發(fā)布系統(tǒng)等。,不可避免的故障,數(shù)據(jù)庫網(wǎng)絡(luò)結(jié)構(gòu)簡圖,數(shù)據(jù)庫平臺的其他好處：,提升全球擴(kuò)展性，包括新浪香港和北美等都能共享到重要數(shù)據(jù)資源，如體育，財經(jīng)數(shù)據(jù)。讓用戶訪問就近IDC，提升服務(wù)質(zhì)量。很多剛開始的項目可以混用同一個服務(wù)器資源。,關(guān)于一些數(shù)據(jù)庫日常管理的經(jīng)驗介紹,如何去了解應(yīng)用項目的數(shù)據(jù)庫使用情況？大項目的有效切分方式？一個庫下多少表比較合適？長

4、期運行的數(shù)據(jù)庫，如何避免表性能下降？減少慢查詢語句的方法有哪些？數(shù)據(jù)庫服務(wù)器負(fù)載急劇上升的主要原因？,不要超過自身運輸能力,數(shù)據(jù)庫應(yīng)用項目規(guī)劃和優(yōu)化原則,1. 了解自己的應(yīng)用應(yīng)用類型讀多寫少（如體育，讀書），讀寫比例差不多（如音樂），和寫多讀少（如投票，統(tǒng)計）預(yù)計數(shù)據(jù)量半年？一年？后續(xù)擴(kuò)展？? 決定單表還是多表，擴(kuò)展的方法(hash分表) 預(yù)計訪問量多少讀？多少寫？峰值？? Com_select,Com_upda

5、te(insert,delete)實時數(shù)據(jù)和非實時數(shù)據(jù)哪些必須實時查詢？哪些可以預(yù)先準(zhǔn)備或可以cache？哪些用于統(tǒng)計匯總？時間的要求實時性高的項目，如財經(jīng)，體育，實時性低的項目如博客圈等。,合理分配調(diào)度，實現(xiàn)全球快速到達(dá)。,2.如何對大應(yīng)用項目切分,保證數(shù)據(jù)庫單個實例盡量不要超過150G。切分盡量多的小實例，一個機(jī)器跑7-8個實例，平常load avg不超過1-2，峰值不超過6-7為合理。分表原則的選擇按時間(財經(jīng)

6、)按ID號hash分(統(tǒng)一通行證)按業(yè)務(wù)項目(通用投票),3. 單庫表數(shù)量的限制-- 為什么？ - 受文件系統(tǒng)操作限制，文件數(shù)過大需要更多文件句柄，且大目錄操作造成復(fù)制、壓縮、備份效率低。 - 打開表占用數(shù)據(jù)庫資源（table_cache） √ 建議一個庫不應(yīng)超過300-400個表 √ 建議一般帶char字段的表不應(yīng)超過500萬rows.基于數(shù)字的字段為主的表不要超過1000萬rows.,4.表的優(yōu)

7、化,正確使用索引，避免全表搜索使用定長表,且定期做OPTIMIZE TABLE命令（注意這個命令會鎖表，請在數(shù)據(jù)庫訪問小的時候做）在對大表進(jìn)行添加索引，一定要選擇訪問小的時間段做，否則會導(dǎo)致嚴(yán)重問題。注:一般臨晨2-3點時候是大部分項目訪問的低谷。,5.索引優(yōu)化、選擇和試驗,穩(wěn)妥地改進(jìn)將需要優(yōu)化的相關(guān)表復(fù)制到測試環(huán)境在測試環(huán)境啟動一個測試daemon，關(guān)閉query cache或是使用select SQL_NO_CACHE 方

8、式。未優(yōu)化時測試若干次查詢時間，以及explain檢查掃描集。選擇合適的索引試驗建立?？梢酝ㄟ^use index(xx)來強(qiáng)制使用。檢查是否有效。測試查詢時間變化，反復(fù)試驗得到最優(yōu)結(jié)果保持關(guān)注，根據(jù)情況隨時改變索引設(shè)置,6.關(guān)于排序的問題,盡量使用帶主鍵的字段做order by 的排序盡量不要多提供頁面的查找（最好只提供100頁內(nèi)），避免機(jī)器爬蟲抓取數(shù)據(jù)，導(dǎo)致數(shù)據(jù)庫壓力負(fù)載過高。因為做order by field1 limi