運維角度淺談MySQL資料庫數據庫優化

運維角度淺談MySQL資料庫優化。一個成熟的資料庫架構並不是一開始設計就具備高可用、高伸縮等特性的,它是隨著用戶量的增加,基礎架構才逐漸完善。這篇博文主要談MySQL資料庫發展周期中所面臨的問題及優化方案,暫且拋開前端應用不說,大致分為以下五個階段:

1、資料庫表設計

項目立項後,開發部根據產品部需求開發項目,開發工程師工作其中一部分就是對表結構設計。對於資料庫來說,這點很重要,如果設計不當,會直接影響訪問速度和用戶體驗。影響的因素很多,比如慢查詢、低效的查詢語句、沒有適當建立索引、資料庫堵塞(死鎖)等。當然,有測試工程師的團隊,會做壓力測試,找bug。對於沒有測試工程師的團隊來說,大多數開發工程師初期不會太多考慮資料庫設計是否合理,而是盡快完成功能實現和交付,等項目有一定訪問量後,隱藏的問題就會暴露,這時再去修改就不是這麼容易的事瞭。

2、資料庫部署

該運維工程師出場瞭,項目初期訪問量不會很大,所以單臺部署足以應對在1500左右的QPS(每秒查詢率)。考慮到高可用性,可采用MySQL主從復制+Keepalived做雙擊熱備,常見集群軟件有Keepalived、Heartbeat。

雙機熱備博文:https://lizhenliang.blog.51cto.com/7876557/1362313

3、資料庫性能優化

如果將MySQL部署到普通的X86伺服器上,在不經過任何優化情況下,MySQL理論值正常可以處理2000左右QPS,經過優化後,有可能會提升到2500左右QPS,否則,訪問量當達到1500左右並發連接時,資料庫處理性能就會變慢,而且硬件資源還很富裕,這時就該考慮軟件問題瞭。那麼怎樣讓資料庫最大化發揮性能呢?一方面可以單臺運行多個MySQL實例讓伺服器性能發揮到最大化,另一方面是對資料庫進行優化,往往操作系統和資料庫默認配置都比較保守,會對資料庫發揮有一定限制,可對這些配置進行適當的調整,盡可能的處理更多連接數。

具體優化有以下三個層面:

3.1 資料庫配置優化

MySQL常用有兩種存儲引擎,一個是MyISAM,不支持事務處理,讀性能處理快,表級別鎖。另一個是InnoDB,支持事務處理(ACID),設計目標是為處理大容量數據發揮最大化性能,行級別鎖。

表鎖:開銷小,鎖定粒度大,發生死鎖概率高,相對並發也低。

行鎖:開銷大,鎖定粒度小,發生死鎖概率低,相對並發也高。

為什麼會出現表鎖和行鎖呢?主要是為瞭保證數據的完整性,舉個例子,一個用戶在操作一張表,其他用戶也想操作這張表,那麼就要等第一個用戶操作完,其他用戶才能操作,表鎖和行鎖就是這個作用。否則多個用戶同時操作一張表,肯定會數據產生沖突或者異常。

根據以上看來,使用InnoDB存儲引擎是最好的選擇,也是MySQL5.5以後版本中默認存儲引擎。每個存儲引擎相關聯參數比較多,以下列出主要影響資料庫性能的參數。

公共參數默認值:

max_connections = 151
#同時處理最大連接數,推薦設置最大連接數是上限連接數的80%左右   
sort_buffer_size = 2M
#查詢排序時緩沖區大小,隻對order by和group by起作用,可增大此值為16M
query_cache_limit = 1M  
#查詢緩存限制,隻有1M以下查詢結果才會被緩存,以免結果數據較大把緩存池覆蓋
query_cache_size = 16M  
#查看緩沖區大小,用於緩存SELECT查詢結果,下一次有同樣SELECT查詢將直接從緩存池返回結果,可適當成倍增加此值
open_files_limit = 1024 
#打開文件數限制,如果show global status like 'open_files'查看的值等於或者大於open_files_limit值時,程式會無法連接資料庫或卡死

MyISAM參數默認值:

key_buffer_size = 16M
#索引緩存區大小,一般設置物理內存的30-40%
read_buffer_size = 128K  
#讀操作緩沖區大小,推薦設置16M或32M

InnoDB參數默認值:

innodb_buffer_pool_size = 128M
#索引和數據緩沖區大小,一般設置物理內存的60%-70%
innodb_buffer_pool_instances = 1    
#緩沖池實例個數,推薦設置4個或8個
innodb_flush_log_at_trx_commit = 1  
#關鍵參數,0代表大約每秒寫入到日志並同步到磁盤,資料庫故障會丟失1秒左右事務數據。1為每執行一條SQL後寫入到日志並同步到磁盤,I/O開銷大,執行完SQL要等待日志讀寫,效率低。2代表隻把日志寫入到系統緩存區,再每秒同步到磁盤,效率很高,如果伺服器故障,才會丟失事務數據。對數據安全性要求不是很高的推薦設置2,性能高,修改後效果明顯。
innodb_file_per_table = OFF  
#默認是共享表空間,共享表空間idbdata文件不斷增大,影響一定的I/O性能。推薦開啟獨立表空間模式,每個表的索引和數據都存在自己獨立的表空間中,可以實現單表在不同資料庫中移動。
innodb_log_buffer_size = 8M  
#日志緩沖區大小,由於日志最長每秒鐘刷新一次,所以一般不用超過16M

3.2 系統內核優化

大多數MySQL都部署在linux系統上,所以操作系統的一些參數也會影響到MySQL性能,以下對linux內核進行適當優化。

net.ipv4.tcp_fin_timeout = 30
#TIME_WAIT超時時間,默認是60s
net.ipv4.tcp_tw_reuse = 1    
#1表示開啟復用,允許TIME_WAIT socket重新用於新的TCP連接,0表示關閉
net.ipv4.tcp_tw_recycle = 1  
#1表示開啟TIME_WAIT socket快速回收,0表示關閉
net.ipv4.tcp_max_tw_buckets = 4096   
#系統保持TIME_WAIT socket最大數量,如果超出這個數,系統將隨機清除一些TIME_WAIT並打印警告信息
net.ipv4.tcp_max_syn_backlog = 4096
#進入SYN隊列最大長度,加大隊列長度可容納更多的等待連接

在linux系統中,如果進程打開的文件句柄數量超過系統默認值1024,就會提示“too many files open”信息,所以要調整打開文件句柄限制。

# vi /etc/security/limits.conf  #加入以下配置,*代表所有用戶,也可以指定用戶,重啟系統生效
* soft nofile 65535
* hard nofile 65535
# ulimit -SHn 65535   #立刻生效

3.3 硬件配置

加大物理內存,提高文件系統性能。linux內核會從內存中分配出緩存區(系統緩存和數據緩存)來存放熱數據,通過文件系統延遲寫入機制,等滿足條件時(如緩存區大小到達一定百分比或者執行sync命令)才會同步到磁盤。也就是說物理內存越大,分配緩存區越大,緩存數據越多。當然,伺服器故障會丟失一定的緩存數據。

SSD硬盤代替SAS硬盤,將RAID級別調整為RAID1+0,相對於RAID1和RAID5有更好的讀寫性能(IOPS),畢竟資料庫的壓力主要來自磁盤I/O方面。

4、資料庫架構擴展

隨著業務量越來越大,單臺資料庫伺服器性能已無法滿足業務需求,該考慮加機器瞭,該做集群瞭~~~。主要思想是分解單臺資料庫負載,突破磁盤I/O性能,熱數據存放緩存中,降低磁盤I/O訪問頻率。

4.1 主從復制與讀寫分離

因為生產環境中,資料庫大多都是讀操作,所以部署一主多從架構,主資料庫負責寫操作,並做雙擊熱備,多臺從資料庫做負載均衡,負責讀操作,主流的負載均衡器有LVS、HAProxy、Nginx。

怎麼來實現讀寫分離呢?大多數企業是在代碼層面實現讀寫分離,效率比較高。另一個種方式通過代理程式實現讀寫分離,企業中應用較少,常見代理程式有MySQL Proxy、Amoeba。在這樣資料庫集群架構中,大大增加資料庫高並發能力,解決單臺性能瓶頸問題。如果從資料庫一臺從庫能處理2000 QPS,那麼5臺就能處理1w QPS,資料庫橫向擴展性也很容易。

有時,面對大量寫操作的應用時,單臺寫性能達不到業務需求。如果做雙主,就會遇到資料庫數據不一致現象,產生這個原因是在應用程式不同的用戶會有可能操作兩臺資料庫,同時的更新操作造成兩臺資料庫資料庫數據發生沖突或者不一致。在單庫時MySQL利用存儲引擎機制表鎖和行鎖來保證數據完整性,怎樣在多臺主庫時解決這個問題呢?有一套基於perl語言開發的主從復制管理工具,叫MySQL-MMM(Master-Master replication managerfor Mysql,Mysql主主復制管理器),這個工具最大的優點是在同一時間隻提供一臺資料庫寫操作,有效保證數據一致性。

主從復制博文:https://lizhenliang.blog.51cto.com/7876557/1290431

讀寫分離博文:https://lizhenliang.blog.51cto.com/7876557/1305083

MySQL-MMM博文:https://lizhenliang.blog.51cto.com/7876557/1354576

4.2 增加緩存

給資料庫增加緩存系統,把熱數據緩存到內存中,如果緩存中有要請求的數據就不再去資料庫中返回結果,提高讀性能。緩存實現有本地緩存和分佈式緩存,本地緩存是將數據緩存到本地伺服器內存中或者文件中。分佈式緩存可以緩存海量數據,擴展性好,主流的分佈式緩存系統有memcached、redis,memcached性能穩定,數據緩存在內存中,速度很快,QPS可達8w左右。如果想數據持久化就選擇用redis,性能不低於memcached。

工作過程:

mysql_cache

4.3 分庫

分庫是根據業務不同把相關的表切分到不同的資料庫中,比如web、bbs、blog等庫。如果業務量很大,還可將切分後的庫做主從架構,進一步避免單個庫壓力過大。

4.4 分表

數據量的日劇增加,資料庫中某個表有幾百萬條數據,導致查詢和插入耗時太長,怎麼能解決單表壓力呢?你就該考慮是否把這個表拆分成多個小表,來減輕單個表的壓力,提高處理效率,此方式稱為分表。

分表技術比較麻煩,要修改程式代碼裡的SQL語句,還要手動去創建其他表,也可以用merge存儲引擎實現分表,相對簡單許多。分表後,程式是對一個總表進行操作,這個總表不存放數據,隻有一些分表的關系,以及更新數據的方式,總表會根據不同的查詢,將壓力分到不同的小表上,因此提高並發能力和磁盤I/O性能。

分表分為垂直拆分和水平拆分:

垂直拆分:把原來的一個很多字段的表拆分多個表,解決表的寬度問題。你可以把不常用的字段單獨放到一個表中,也可以把大字段獨立放一個表中,或者把關聯密切的字段放一個表中。

水平拆分:把原來一個表拆分成多個表,每個表的結構都一樣,解決單表數據量大的問題。

4.5 分區

分區就是把一張表的數據根據表結構中的字段(如range、list、hash等)分成多個區塊,這些區塊可以在一個磁盤上,也可以在不同的磁盤上,分區後,表面上還是一張表,但數據散列在多個位置,這樣一來,多塊硬盤同時處理不同的請求,從而提高磁盤I/O讀寫性能,實現比較簡單。

註:增加緩存、分庫、分表和分區主要由程式猿來實現。

5、資料庫維護

資料庫維護是運維工程師或者DBA主要工作,包括性能監控、性能分析、性能調優、資料庫備份和恢復等。

5.1 性能狀態關鍵指標

QPS,Queries Per Second:每秒查詢數,一臺資料庫每秒能夠處理的查詢次數

TPS,Transactions Per Second:每秒處理事務數

通過show status查看運行狀態,會有300多條狀態信息記錄,其中有幾個值幫可以我們計算出QPS和TPS,如下:

Uptime:伺服器已經運行的實際,單位秒

Questions:已經發送給資料庫查詢數

Com_select:查詢次數,實際操作資料庫的

Com_insert:插入次數

Com_delete:刪除次數

Com_update:更新次數

Com_commit:事務次數

Com_rollback:回滾次數

那麼,計算方法來瞭,基於Questions計算出QPS:

mysql> show global status like 'Questions';
mysql> show global status like 'Uptime';

QPS = Questions / Uptime

基於Com_commit和Com_rollback計算出TPS:

mysql> show global status like 'Com_commit';
mysql> show global status like 'Com_rollback';
mysql> show global status like 'Uptime';

TPS = (Com_commit + Com_rollback) / Uptime

另一計算方式:基於Com_select、Com_insert、Com_delete、Com_update計算出QPS

mysql> show global status where Variable_name in('com_select','com_insert','com_delete','com_update');

等待1秒再執行,獲取間隔差值,第二次每個變量值減去第一次對應的變量值,就是QPS

TPS計算方法:

mysql> show global status where Variable_name in('com_insert','com_delete','com_update');

計算TPS,就不算查詢操作瞭,計算出插入、刪除、更新四個值即可。

經網友對這兩個計算方式的測試得出,當資料庫中myisam表比較多時,使用Questions計算比較準確。當資料庫中innodb表比較多時,則以Com_*計算比較準確。

5.2 開啟慢查詢日志

MySQL開啟慢查詢日志,分析出哪條SQL語句比較慢,使用set設置變量,重啟服務失效,可以在my.cnf添加參數永久生效。

mysql> set global slow-query-log=on  #開啟慢查詢功能
mysql> set global slow_query_log_file='/var/log/mysql/mysql-slow.log';  #指定慢查詢日志文件位置
mysql> set global log_queries_not_using_indexes=on;   #記錄沒有使用索引的查詢
mysql> set global long_query_time=1;   #隻記錄處理時間1s以上的慢查詢

分析慢查詢日志,可以使用MySQL自帶的mysqldumpslow工具,分析的日志較為簡單。

# mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log #查看最慢的前三個查詢

也可以使用percona公司的pt-query-digest工具,日志分析功能全面,可分析slow log、binlog、general log。

分析慢查詢日志:pt-query-digest /var/log/mysql/mysql-slow.log

分析binlog日志:mysqlbinlog mysql-bin.000001 >mysql-bin.000001.sql

pt-query-digest –type=binlog mysql-bin.000001.sql

分析普通日志:pt-query-digest –type=genlog localhost.log

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *