MySql性能优化思路

mySQL 性能优化

1 连接 Connections

经常会遇见”mysql: error 1040: too many connections”的情况,一种是访问量确实很高,mysql服务器抗不住,这个时候就要考虑增加从服务器分散读压力,另外一种情况是mysql配置文件中max_connections值过小:

mysql> show variables like ‘max_connections‘;

+-----------------+-------+

| variable_name    | value |

+-----------------+-------+

| max_connections | 256   |

+-----------------+-------+

这台mysql服务器最大连接数是256,然后查询一下服务器响应的最大连接数:

mysql> show global status like ‘max_used_connections‘;

mysql服务器过去的最大连接数是245,没有达到服务器连接数上限256,应该没有出现1040错误,比较理想的设置是

max_used_connections / max_connections * 100% ≈ 85%

最大连接数占上限连接数的85%左右,如果发现比例在10%以下,mysql服务器连接数上限设置的过高了。

1.1 max_connections

1.2 Max_used_connections

2 线程 Thread

mysql> show global status like ‘thread%‘;

+-------------------+-------+

| variable_name      | value |

+-------------------+-------+

| threads_cached     | 46     |

| threads_connected | 2      |

| threads_created    | 570    |

| threads_running    | 1      |

+-------------------+-------+

如果我们在mysql服务器配置文件中设置了thread_cache_size,当客户端断开之后,服务器处理此客户的线程将会缓存起来以响应下一个客户而不是销毁(前提是缓存数未达上限)。

threads_created表示创建过的线程数,如果发现threads_created值过大的话,表明mysql服务器一直在创建线程,这也是比较耗资源,可以适当增加配置文件中thread_cache_size值,查询服务器thread_cache_size配置:

mysql> show variables like ‘thread_cache_size‘;

+-------------------+-------+

| variable_name      | value |

+-------------------+-------+

| thread_cache_size | 64     |

+-------------------+-------+

示例中的服务器还是挺健康的。

2.1 thread_cache_size

2.2 thread_cached

2.3 thread_created

3 缓存 cache

3.1 文件打开数

mysql> show global status like ‘open_files‘;

+---------------+-------+

| variable_name | value |

+---------------+-------+

| open_files     | 1410  |

+---------------+-------+

mysql> show variables like ‘open_files_limit‘;

+------------------+-------+

| variable_name     | value |

+------------------+-------+

| open_files_limit | 4590  |

+------------------+-------+

比较合适的设置:open_files / open_files_limit * 100% <= 75%

3.1.1 open_files

3.1.2 open_files_limit

3.2 数据表

3.2.1 打开数 open_tables

mysql> show global status like ‘open%tables%‘;

+---------------+-------+

| variable_name | value |

+---------------+-------+

| open_tables    | 919    |

| opened_tables | 1951  |

+---------------+-------+

open_tables表示打开表的数量,opened_tables表示打开过的表数量,如果opened_tables数量过大,说明配置中table_cache(5.1.3之后这个值叫做table_open_cache)值可能太小,我们查询一下服务器table_cache值:

mysql> show variables like ‘table_cache‘;

+---------------+-------+

| variable_name | value |

+---------------+-------+

| table_cache    | 2048  |

+---------------+-------+

比较合适的值为:

open_tables / opened_tables * 100% >= 85%

open_tables / table_cache * 100% <= 95%

3.2.1.1 open_tables

3.2.1.2 opend_tables

3.2.1.2.1 open_table_cache

3.2.2 临时表 tmp_table

mysql> show global status like ‘created_tmp%‘;

+-------------------------+---------+

| variable_name      | value    |

+-------------------------+---------+

| created_tmp_disk_tables | 21197    |

| created_tmp_files    | 58       |

| created_tmp_tables    | 1771587 |

+-------------------------+---------+

每次创建临时表,created_tmp_tables增加,如果是在磁盘上创建临时表,created_tmp_disk_tables也增加,created_tmp_files表示mysql服务创建的临时文件文件数,比较理想的配置是:

created_tmp_disk_tables / created_tmp_tables * 100% <= 25%

比如上面的服务器 created_tmp_disk_tables / created_tmp_tables * 100% = 1.20%,应该相当好了。我们再看一下mysql服务器对临时表的配置:

mysql> show variables where variable_name in (‘tmp_table_size‘, ‘max_heap_table_size‘);

+---------------------+-----------+

| variable_name    | value      |

+---------------------+-----------+

| max_heap_table_size | 268435456 |

| tmp_table_size    | 536870912 |

+---------------------+-----------+

只有256mb以下的临时表才能全部放内存,超过的就会用到硬盘临时表。

3.2.2.1 created_tmp_tables

3.2.2.1.1 memory 中存储

3.2.2.1.2 disk 中存储

3.2.2.1.2.1 created_tmp_disk_tabls

3.2.2.1.2.2 磁盘文件

3.2.2.1.2.2.1 created_tmp_files

3.2.3 表锁情况

mysql> show global status like ‘table_locks%‘;

+-----------------------+-----------+

| variable_name          | value      |

+-----------------------+-----------+

| table_locks_immediate | 490206328 |

| table_locks_waited     | 2084912    |

+-----------------------+-----------+

table_locks_immediate 表示立即释放表锁数,

table_locks_waited 表示需要等待的表锁数,

如果 table_locks_immediate / table_locks_waited > 5000,最好采用innodb引擎,因为innodb是行锁而myisam是表锁,对于高并发写入的应用innodb效果会好些。

示例中的服务器 table_locks_immediate / table_locks_waited = 235,myisam就足够了。

3.2.3.1 table_locks_immediate

3.2.3.2 table_locks_waited

3.2.4 表扫描情况

mysql> show global status like ‘handler_read%‘;

+-----------------------+-------------+

| variable_name          | value        |

+-----------------------+-------------+

| handler_read_first     | 5803750      |

| handler_read_key       | 6049319850  |

| handler_read_next      | 94440908210 |

| handler_read_prev      | 34822001724 |

| handler_read_rnd       | 405482605    |

| handler_read_rnd_next | 18912877839 |

+-----------------------+-------------+

各字段解释参见 http://hi.baidu.com/thinkinginlamp/blog/item/31690cd7c4bc5cdaa144df9c.html ,调出服务器完成的查询请求次数:

mysql> show global status like ‘com_select‘;

+---------------+-----------+

| variable_name | value      |

+---------------+-----------+

| com_select     | 222693559 |

+---------------+-----------+

计算表扫描率:

表扫描率 = handler_read_rnd_next / com_select

如果表扫描率超过 4000,说明进行了太多表扫描,很有可能索引没有建好,增加 read_buffer_size 值会有一些好处,但最好不要超过8mb。

3.2.4.1 handler_read_rnd_next

3.2.4.2 com_select

3.3 key_buffer_size

key_buffer_size是对myisam表性能影响最大的一个参数,下面一台以myisam为主要存储引擎服务器的配置:

mysql> show variables like ‘key_buffer_size‘;

+-----------------+------------+

| variable_name    | value       |

+-----------------+------------+

| key_buffer_size | 536870912 |

+-----------------+------------+

分配了 512mb 内存给 key_buffer_size ,我们再看一下 key_buffer_size 的使用情况:

mysql> show global status like ‘key_read%‘;

+------------------------+-------------+

| variable_name     | value     |

+------------------------+-------------+

| key_read_requests   | 27813678764 |

| key_reads       | 6798830      |

+------------------------+-------------+

一共有27813678764个索引读取请求,有6798830个请求在内存中没有找到直接从硬盘读取索引,计算索引未命中缓存的概率:

key_cache_miss_rate = key_reads / key_read_requests * 100%

比如上面的数据,key_cache_miss_rate为0.0244%,4000个索引读取请求才有一个直接读硬盘,已经很bt了,key_cache_miss_rate在0.1%以下都很好(每1000个请求有一个直接读硬盘),如果key_cache_miss_rate在0.01%以下的话,key_buffer_size分配的过多,可以适当减少。

【注意】key_read_buffer 默认值为 8M 。在专有的数据库服务器上,该值可设置为 RAM * 1/4

mysql服务器还提供了key_blocks_*参数:

mysql> show global status like ‘key_blocks_u%‘;

+------------------------+-------------+

| variable_name           | value        |

+------------------------+-------------+

| key_blocks_unused       | 0            |

| key_blocks_used         | 413543       |

+------------------------+-------------+

key_blocks_unused表示未使用的缓存簇(blocks)数,key_blocks_used表示曾经用到的最大的blocks数,比如这台服务器,所有的缓存都用到了,要么增加key_buffer_size,要么就是过渡索引了,把缓存占满了。比较理想的设置:

key_blocks_used / (key_blocks_unused + key_blocks_used) * 100% ≈ 80%

3.3.1 key_reads

3.3.2 key_read_requests

3.3.3 Key_block_unused

3.3.4 key_block_used

3.4 排序使用情况 sort_buffer

mysql> show global status like ‘sort%‘;

+-------------------+------------+

| variable_name      | value       |

+-------------------+------------+

| sort_merge_passes | 29          |

| sort_range         | 37432840    |

| sort_rows          | 9178691532 |

| sort_scan          | 1860569     |

+-------------------+------------+

sort_merge_passes 包括两步。mysql 首先会尝试在内存中做排序,使用的内存大小由系统变量 sort_buffer_size 决定,如果它的大小不够把所有的记录都读到内存中,mysql 就会把每次在内存中排序的结果存到临时文件中,等 mysql 找到所有记录之后,再把临时文件中的记录做一次排序。这再次排序就会增加 sort_merge_passes。实际上,mysql 会用另一个临时文件来存再次排序的结果,所以通常会看到 sort_merge_passes 增加的数值是建临时文件数的两倍。因为用到了临时文件,所以速度可能会比较慢,增加 sort_buffer_size 会减少 sort_merge_passes 和 创建临时文件的次数。但盲目的增加 sort_buffer_size 并不一定能提高速度,见 how fast can you sort data with mysql?(引自http://qroom.blogspot.com/2007/09/mysql-select-sort.html,貌似被墙)

另外,增加read_rnd_buffer_size(3.2.3是record_rnd_buffer_size)的值对排序的操作也有一点的好处,参见:http://www.mysqlperformanceblog.com/2007/07/24/what-exactly-is-read_rnd_buffer_size/

3.4.1 sort_buffer_size

3.4.2 sort_merge_passes

3.5 查询缓存

mysql> show global status like ‘qcache%‘;

+-------------------------+-----------+

| variable_name            | value      |

+-------------------------+-----------+

| qcache_free_blocks       | 22756      |

| qcache_free_memory       | 76764704  |

| qcache_hits              | 213028692 |

| qcache_inserts           | 208894227 |

| qcache_lowmem_prunes     | 4010916    |

| qcache_not_cached        | 13385031  |

| qcache_queries_in_cache | 43560      |

| qcache_total_blocks      | 111212     |

+-------------------------+-----------+

mysql查询缓存变量解释:

qcache_free_blocks:缓存中相邻内存块的个数。数目大说明可能有碎片。flush query cache会对缓存中的碎片进行整理,从而得到一个空闲块。

qcache_free_memory:缓存中的空闲内存。

qcache_hits:每次查询在缓存中命中时就增大

qcache_inserts:每次插入一个查询时就增大。命中次数除以插入次数就是命中比率。

qcache_lowmem_prunes:缓存出现内存不足并且必须要进行清理以便为更多查询提供空间的次数。这个数字最好长时间来看;如果这个数字在不断增长,就表示可能碎片非常严重,或者内存很少。(上面的 free_blocks和free_memory可以告诉您属于哪种情况)

qcache_not_cached:不适合进行缓存的查询的数量,通常是由于这些查询不是 select 语句或者用了now()之类的函数。

qcache_queries_in_cache:当前缓存的查询(和响应)的数量。

qcache_total_blocks:缓存中块的数量。

我们再查询一下服务器关于query_cache的配置:

mysql> show variables like ‘query_cache%‘;

+------------------------------+-----------+

| variable_name                 | value      |

+------------------------------+-----------+

| query_cache_limit             | 2097152    |

| query_cache_min_res_unit      | 4096       |

| query_cache_size              | 203423744 |

| query_cache_type              | on         |

| query_cache_wlock_invalidate | off        |

+------------------------------+-----------+

各字段的解释:

query_cache_limit:超过此大小的查询将不缓存

query_cache_min_res_unit:缓存块的最小大小

query_cache_size:查询缓存大小

query_cache_type:缓存类型,决定缓存什么样的查询,示例中表示不缓存 select sql_no_cache 查询

query_cache_wlock_invalidate:当有其他客户端正在对myisam表进行写操作时,如果查询在query cache中,是否返回cache结果还是等写操作完成再读表获取结果。

query_cache_min_res_unit的配置是一柄”双刃剑”,默认是4kb,设置值大对大数据查询有好处,但如果你的查询都是小数据查询,就容易造成内存碎片和浪费。

查询缓存碎片率 = qcache_free_blocks / qcache_total_blocks * 100%

如果查询缓存碎片率超过20%,可以用flush query cache整理缓存碎片,或者试试减小query_cache_min_res_unit,如果你的查询都是小数据量的话。

查询缓存利用率 = (query_cache_size - qcache_free_memory) / query_cache_size * 100%

查询缓存利用率在25%以下的话说明query_cache_size设置的过大,可适当减小;查询缓存利用率在80%以上而且qcache_lowmem_prunes > 50的话说明query_cache_size可能有点小,要不就是碎片太多。

查询缓存命中率 = (qcache_hits - qcache_inserts) / qcache_hits * 100%

示例服务器 查询缓存碎片率 = 20.46%,查询缓存利用率 = 62.26%,查询缓存命中率 = 1.94%,命中率很差,可能写操作比较频繁吧,而且可能有些碎片。

3.5.1 qcache_free_blocks

3.5.2 qcache_free_memory

3.5.3 qcache_hits

3.5.4 qcache_lowmem_prunes

3.5.5 qcache_queries_in_cache

3.5.6 qcache_not_cached

3.5.7 qcache_total_blocks

4 其他

4.1 read_buffer_size

4.2 慢查询

mysql> show variables like ‘%slow%‘;

+------------------+-------+

| variable_name     | value |

+------------------+-------+

| log_slow_queries | on     |

| slow_launch_time | 2      |

+------------------+-------+

mysql> show global status like ‘%slow%‘;

+---------------------+-------+

| variable_name    | value |

+---------------------+-------+

| slow_launch_threads | 0    |

| slow_queries    | 4148  |

+---------------------+-------+

配置中打开了记录慢查询,执行时间超过2秒的即为慢查询,系统显示有4148个慢查询,你可以分析慢查询日志,找出有问题的sql语句,慢查询时间不宜设置过长,否则意义不大,最好在5秒以内,如果你需要微秒级别的慢查询,可以考虑给mysql打补丁:http://www.percona.com/docs/wiki/release:start,记得找对应的版本。

打开慢查询日志可能会对系统性能有一点点影响,如果你的mysql是主-从结构,可以考虑打开其中一台从服务器的慢查询日志,这样既可以监控慢查询,对系统性能影响又小。


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,524评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,869评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,813评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,210评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,085评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,117评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,533评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,219评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,487评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,582评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,362评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,218评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,589评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,899评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,176评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,503评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,707评论 2 335

推荐阅读更多精彩内容