MySQL服務器調優的幾個技巧

如今,開發人員不斷地開發和部署使用 LAMP(Linux®、Apache、MySQL 和 PHP/Perl)架構的應用程序.但是,服務器管理員常常對應用程序本身沒有什么控制能力,因為應用程序是別人編寫的.這份 共三部分的系列文章 將討論許多服務器配置問題,這些配置會影響應用程序的性能.

　　關于 MySQL 調優

　　有 3 種方法可以加快 MySQL 服務器的運行速度,效率從低到高依次為：

　　替換有問題的硬件.

　　對 MySQL 進程的設置進行調優.

　　對查詢進行優化.

　　替換有問題的硬件通常是我們的第一考慮,主要原因是數據庫會占用大量資源.不過這種解決方案也就僅限于此了.實際上,您通常可以讓中央處理器(CPU)或磁盤速度加倍,也可以讓內存增大 4 到 8 倍.

　　第二種方法是對 MySQL 服務器(也稱為 mysqld)進行調優.對這個進程進行調優意味著適當地分配內存,并讓 mysqld 了解將會承受何種類型的負載.加快磁盤運行速度不如減少所需的磁盤訪問次數.類似地,確保 MySQL 進程正確操作就意味著它花費在服務查詢上的時間要多于花費在處理后臺任務(如處理臨時磁盤表或打開和關閉文件)上的時間.對 mysqld 進行調優是本文的重點.

　　最好的方法是確保查詢已經進行了優化.這意味著對表應用了適當的索引,查詢是按照可以充分利用 MySQL 功能的方式來編寫的.盡管本文并沒有包含查詢調優方面的內容(很多著作中已經針對這個主題進行了探討),不過它會配置 mysqld 來報告可能需要進行調優的查詢.

　　雖然已經為這些任務指派了次序,但是仍然要注意硬件和 mysqld 的設置以利于適當地調優查詢.機器速度慢也就罷了,我曾經見過速度很快的機器在運行設計良好的查詢時由于負載過重而失敗,因為 mysqld 被大量繁忙的工作所占用而不能服務查詢.

　　記錄慢速查詢

　　在一個 SQL 服務器中,數據表都是保存在磁盤上的.索引為服務器提供了一種在表中查找特定數據行的方法,而不用搜索整個表.當必須要搜索整個表時,就稱為表掃描.通常 來說,您可能只希望獲得表中數據的一個子集,因此全表掃描會浪費大量的磁盤 I/O,因此也就會浪費大量時間.當必須對數據進行連接時,這個問題就更加復雜了,因為必須要對連接兩端的多行數據進行比較.

　　當然,表掃描并不總是會帶來問題;有時讀取整個表反而會比從中挑選出一部分數據更加有效(服務器進程中查詢規劃器用來作出這些決定).如果索引 的使用效率很低,或者根本就不能使用索引,則會減慢查詢速度,而且隨著服務器上的負載和表大小的增加,這個問題會變得更加顯著.執行時間超過給定時間范圍 的查詢就稱為慢速查詢.

　　您可以配置 mysqld 將這些慢速查詢記錄到適當命名的慢速查詢日志中.管理員然后會查看這個日志來幫助他們確定應用程序中有哪些部分需要進一步調查.清單 1 給出了要啟用慢速查詢日志需要在 my.cnf 中所做的配置.

　　清單 1. 啟用 MySQL 慢速查詢日志

　　這三個設置一起使用,可以記錄執行時間超過 5 秒和沒有使用索引的查詢.請注意有關 log-queries-not-using-indexes 的警告：您必須使用 MySQL 4.1 或更高版本.慢速查詢日志都保存在 MySQL 數據目錄中,名為 hostname-slow.log.如果希望使用一個不同的名字或路徑,可以在 my.cnf 中使用 log-slow-queries = /new/path/to/file 實現此目的.

　　閱讀慢速查詢日志最好是通過 mysqldumpslow 命令進行.指定日志文件的路徑,就可以看到一個慢速查詢的排序后的列表,并且還顯示了它們在日志文件中出現的次數.一個非常有用的特性是 mysqldumpslow 在比較結果之前,會刪除任何用戶指定的數據,因此對同一個查詢的不同調用被計為一次;這可以幫助找出需要工作量最多的查詢.

　　對查詢進行緩存

　　很多 LAMP 應用程序都嚴重依賴于數據庫,但卻會反復執行相同的查詢.每次執行查詢時,數據庫都必須要執行相同的工作 —— 對查詢進行分析,確定如何執行查詢,從磁盤中加載信息,然后將結果返回給客戶機.MySQL 有一個特性稱為查詢緩存,它將(后面會用到的)查詢結果保存在內存中.在很多情況下,這會極大地提高性能.不過,問題是查詢緩存在默認情況下是禁用的.

　　將 query_cache_size = 32M 添加到 /etc/my.conf 中可以啟用 32MB 的查詢緩存.

　　監視查詢緩存

　　在啟用查詢緩存之后,重要的是要理解它是否得到了有效的使用.MySQL 有幾個可以查看的變量,可以用來了解緩存中的情況.清單 2 給出了緩存的狀態.

　　清單 2. 顯示查詢緩存的統計信息

　　mysql> SHOW STATUS LIKE ‘qcache%’;

　　這些項的解釋如表 1 所示.

　　表 1. MySQL 查詢緩存變量變量名 說明

　　Qcache_free_blocks 緩存中相鄰內存塊的個數.數目大說明可能有碎片.FLUSH QUERY CACHE 會對緩存中的碎片進行整理,從而得到一個空閑塊.

　　Qcache_free_memory 緩存中的空閑內存.

　　Qcache_hits 每次查詢在緩存中命中時就增大.

　　Qcache_inserts 每次插入一個查詢時就增大.命中次數除以插入次數與hits 的次數之和就是命中比率;用 1 減去這個值就是不命中率.在上面這個例子中,大約有 87% 的查詢都在緩存中命中.Query_cache_hits = (Qcahce_hits / (Qcache_hits + Qcache_inserts )) * 100%;

　　Qcache_lowmem_prunes 緩存出現內存不足并且必須要進行清理以便為更多查詢提供空間的次數.這個數字最好長時間來看;如果這個數字在不斷增長,就表示可能碎片非常嚴重,或者內 存很少.(上面的 free_blocks 和 free_memory 可以告訴您屬于哪種情況).

　　Qcache_not_cached 不適合進行緩存的查詢的數量,通常是由于這些查詢不是 SELECT 語句.

　　Qcache_queries_in_cache 當前緩存的查詢(和響應)的數量.

　　Qcache_total_blocks 緩存中塊的數量.

　　通常,間隔幾秒顯示這些變量就可以看出區別,這可以幫助確定緩存是否正在有效地使用.運行 FLUSH STATUS 可以重置一些計數器,如果服務器已經運行了一段時間,這會非常有幫助.

　　使用非常大的查詢緩存,期望可以緩存所有東西,這種想法非常誘人.由于 mysqld 必須要對緩存進行維護,例如當內存變得很低時執行剪除,因此服務器可能會在試圖管理緩存時而陷入困境.作為一條規則,如果 FLUSH QUERY CACHE 占用了很長時間,那就說明緩存太大了.

　　強制限制

　　您可以在 mysqld 中強制一些限制來確保系統負載不會導致資源耗盡的情況出現.清單 3 給出了 my.cnf 中與資源有關的一些重要設置.

　　清單 3. MySQL 資源設置

　　set-variable=max_connections=500

　　set-variable=wait_timeout=10

　　max_connect_errors = 100

　　連接最大個數是在第一行中進行管理的.與 Apache 中的 MaxClients 類似,其想法是確保只建立服務允許數目的連接.要確定服務器上目前建立過的最大連接數,請執行 SHOW STATUS LIKE ‘max_used_connections’.

　　第 2 行告訴 mysqld 終止所有空閑時間超過 10 秒的連接.在 LAMP 應用程序中,連接數據庫的時間通常就是 Web 服務器處理請求所花費的時間.有時候,如果負載過重,連接會掛起,并且會占用連接表空間.如果有多個交互用戶或使用了到數據庫的持久連接,那么將這個值設 低一點并不可取!

　　最后一行是一個安全的方法.如果一個主機在連接到服務器時有問題,并重試很多次后放棄,那么這個主機就會被鎖定,直到 FLUSH HOSTS 之后才能運行.默認情況下,10 次失敗就足以導致鎖定了.將這個值修改為 100 會給服務器足夠的時間來從問題中恢復.如果重試 100 次都無法建立連接,那么使用再高的值也不會有太多幫助,可能它根本就無法連接.

　　緩沖區和緩存

　　MySQL 支持超過 100 個的可調節設置;但是幸運的是,掌握少數幾個就可以滿足大部分需要.查找這些設置的正確值可以通過 SHOW STATUS 命令查看狀態變量,從中可以確定 mysqld 的運作情況是否符合我們的預期.給緩沖區和緩存分配的內存不能超過系統中的現有內存,因此調優通常都需要進行一些妥協.

　　MySQL 可調節設置可以應用于整個 mysqld 進程,也可以應用于單個客戶機會話.

　　服務器端的設置

　　每個表都可以表示為磁盤上的一個文件,必須先打開,后讀取.為了加快從文件中讀取數據的過程,mysqld 對這些打開文件進行了緩存,其最大數目由 /etc/mysqld.conf 中的 table_cache 指定.清單 4 給出了顯示與打開表有關的活動的方式.

　　清單 4. 顯示打開表的活動

　　mysql> SHOW STATUS LIKE ‘open%tables’;

　　清單 4 說明目前有 5,000 個表是打開的,有 195 個表需要打開,因為現在緩存中已經沒有可用文件描述符了(由于統計信息在前面已經清除了,因此可能會存在 5,000 個打開表中只有 195 個打開記錄的情況).如果 Opened_tables 隨著重新運行 SHOW STATUS 命令快速增加,就說明緩存命中率不夠.如果 Open_tables 比 table_cache 設置小很多,就說明該值太大了(不過有空間可以增長總不是什么壞事).例如,使用 table_cache = 5000 可以調整表的緩存.

　　與表的緩存類似,對于線程來說也有一個緩存. mysqld 在接收連接時會根據需要生成線程.在一個連接變化很快的繁忙服務器上,對線程進行緩存便于以后使用可以加快最初的連接.

　　清單 5 顯示如何確定是否緩存了足夠的線程.

　　清單 5. 顯示線程使用統計信息

　　mysql> SHOW STATUS LIKE ‘threads%’;

　　此處重要的值是 Threads_created,每次 mysqld 需要創建一個新線程時,這個值都會增加.如果這個數字在連續執行 SHOW STATUS 命令時快速增加,就應該嘗試增大線程緩存.例如,可以在 my.cnf 中使用 thread_cache = 40 來實現此目的.

　　關鍵字緩沖區保存了 MyISAM 表的索引塊.理想情況下,對于這些塊的請求應該來自于內存,而不是來自于磁盤.清單 6 顯示了如何確定有多少塊是從磁盤中讀取的,以及有多少塊是從內存中讀取的.

　　清單 6. 確定關鍵字效率

　　mysql> show status like ‘%key_read%’;

　　Key_reads 代表命中磁盤的請求個數, Key_read_requests 是總數.命中磁盤的讀請求數除以讀請求總數就是不中比率 —— 在本例中每 1,000 個請求,大約有 0.6 個沒有命中內存.如果每 1,000 個請求中命中磁盤的數目超過 1 個,就應該考慮增大關鍵字緩沖區了.例如,key_buffer = 384M 會將緩沖區設置為 384MB.

　　臨時表可以在更高級的查詢中使用,其中數據在進一步進行處理(例如 GROUP BY 字句)之前,都必須先保存到臨時表中;理想情況下,在內存中創建臨時表.但是如果臨時表變得太大,就需要寫入磁盤中.清單 7 給出了與臨時表創建有關的統計信息.

　　清單 7. 確定臨時表的使用

　　mysql> SHOW STATUS LIKE ‘created_tmp%’;

　　每次使用臨時表都會增大 Created_tmp_tables;基于磁盤的表也會增大 Created_tmp_disk_tables.對于這個比率,并沒有什么嚴格的規則,因為這依賴于所涉及的查詢.長時間觀察 Created_tmp_disk_tables 會顯示所創建的磁盤表的比率,您可以確定設置的效率. tmp_table_size 和 max_heap_table_size 都可以控制臨時表的最大大小,因此請確保在 my.cnf 中對這兩個值都進行了設置.

　　每個會話的設置

　　下面這些設置針對于每個會話.在設置這些數字時要十分謹慎,因為它們在乘以可能存在的連接數時候,這些選項表示大量的內存!您可以通過代碼修改會話中的這些數字,或者在 my.cnf 中為所有會話修改這些設置.

　　當 MySQL 必須要進行排序時,就會在從磁盤上讀取數據時分配一個排序緩沖區來存放這些數據行.如果要排序的數據太大,那么數據就必須保存到磁盤上的臨時文件中,并再 次進行排序.如果 sort_merge_passes 狀態變量很大,這就指示了磁盤的活動情況.清單 8 給出了一些與排序相關的狀態計數器信息.

　　清單 8. 顯示排序統計信息

　　mysql> SHOW STATUS LIKE “sort%”;

　　如果 sort_merge_passes 很大,就表示需要注意 sort_buffer_size.例如, sort_buffer_size = 4M 將排序緩沖區設置為 4MB.

　　MySQL 也會分配一些內存來讀取表.理想情況下,索引提供了足夠多的信息,可以只讀入所需要的行,但是有時候查詢(設計不佳或數據本性使然)需要讀取表中大量數 據.要理解這種行為,需要知道運行了多少個 SELECT 語句,以及需要讀取表中的下一行數據的次數(而不是通過索引直接訪問).實現這種功能的命令如清單 9 所示.

　　清單 9. 確定表掃描比率

mysql> SHOW STATUS LIKE “com_select”;

mysql> SHOW STATUS LIKE “handler_read_rnd_next”;
 

　　Handler_read_rnd_next / Com_select 得出了表掃描比率 —— 在本例中是 521:1.如果該值超過 4000,就應該查看 read_buffer_size,例如 read_buffer_size = 4M.如果這個數字超過了 8M,就應該與開發人員討論一下對這些查詢進行調優了!

　　3 個必不可少的工具

　　盡管在了解具體設置時,SHOW STATUS 命令會非常有用,但是您還需要一些工具來解釋 mysqld 所提供的大量數據.我發現有 3 個工具是必不可少的;在 參考資料 一節中您可以找到相應的鏈接.

　　大部分系統管理員都非常熟悉 top 命令,它為任務所消耗的 CPU 和內存提供了一個不斷更新的視圖. mytop 對 top 進行了仿真;它為所有連接上的客戶機以及它們正在運行的查詢提供了一個視圖.mytop 還提供了一個有關關鍵字緩沖區和查詢緩存效率的實時數據和歷史數據,以及有關正在運行的查詢的統計信息.這是一個很有用的工具,可以查看系統中(比如 10 秒鐘之內)的狀況,您可以獲得有關服務器健康信息的視圖,并顯示導致問題的任何連接.

　　mysqlard 是一個連接到 MySQL 服務器上的守護程序,負責每 5 分鐘搜集一次數據,并將它們存儲到后臺的一個 Round Robin Database 中.有一個 Web 頁面會顯示這些數據,例如表緩存的使用情況、關鍵字效率、連接上的客戶機以及臨時表的使用情況.盡管 mytop 提供了服務器健康信息的快照,但是 mysqlard 則提供了長期的健康信息.作為獎勵,mysqlard 使用自己搜集到的一些信息針對如何對服務器進行調優給出一些建議.

　　搜集 SHOW STATUS 信息的另外一個工具是 mysqlreport.其報告要遠比 mysqlard 更加復雜,因為需要對服務器的每個方面都進行分析.這是對服務器進行調優的一個非常好的工具,因為它對狀態變量進行適當計算來幫助確定需要修正哪些問題.

　　備注：

　　如果是使用 innodb 的環境,記的打開 innodb_buffer_pool_size 對性能很有幫助.