对于数据库来说，慢查询往往意味着风险。SQL执行得越慢，消耗的CPU资源或IO资源也会越大。大量的慢查询可直接引发业务故障，关注慢查询即是关注故障本身。本文主要介绍了美团如何利用数据库的代价优化器来优化慢查询，并给出索引建议，评估跟踪建议质量，运营治理慢查询。
1 背景
慢查询是指数据库中查询时间超过指定阈值（美团设置为100ms）的SQL，它是数据库的性能杀手，也是业务优化数据库访问的重要抓手。随着美团业务的高速增长，日均慢查询量已经过亿条，此前因慢查询导致的故障约占数据库故障总数的10%以上，而且高级别的故障呈日益增长趋势。因此，对慢查询的优化已经变得刻不容缓。
那么如何优化慢查询呢？最直接有效的方法就是选用一个查询效率高的索引。关于高效率的索引推荐，主要在日常工作中，基于经验规则的推荐随处可见，对于简单的SQL，如 * from where name like 'Bobby%'，直接添加索引IX(name) 就可以取得不错的效果；但对于稍微复杂点的SQL，如 * from where name like 'Bobby%' and dt > '2021-07-06'，到底选择IX(name)、IX(dt)、IX(dt,name) 还是IX(name,dt)，该方法也无法给出准确的回答。更别说像多表Join、子查询这样复杂的场景了。所以采用基于代价的推荐来解决该问题会更加普适，因为基于代价的方法使用了和数据库优化器相同的方式，去量化评估所有的可能性，选出的是执行SQL耗费代价最小的索引。
2 基于代价的优化器介绍2.1 SQL执行与优化器
一条SQL在MySQL服务器中执行流程主要包含：SQL解析、基于语法树的准备工作、优化器的逻辑变化、优化器的代价准备工作、基于代价模型的优化、进行额外的优化和运行执行计划等部分。具体如下图所示：
SQL执行与优化器
2.2 代价模型介绍
而对于优化器来说，执行一条SQL有各种各样的方案可供选择，如表是否用索引、选择哪个索引、是否使用范围扫描、多表Join的连接顺序和子查询的执行方式等。如何从这些可选方案中选出耗时最短的方案呢？这就需要定义一个量化数值指标，这个指标就是代价(Cost)，我们分别计算出可选方案的操作耗时，从中选出最小值。
代价模型将操作分为层和（存储引擎）层两类，层主要是CPU代价，层主要是IO代价，比如MySQL从磁盘读取一个数据页的代价为1，计算符合条件的行代价为为0.2。除此之外还有：
( 2.0) 内存临时表的创建代价。_cost ( 0.2) 内存临时表的行代价。 ( 0.1) 键比较的代价，例如排序。 ( 40.0) 内部或临时表的创建代价。ost ( 1.0) 内部或临时表的行代价。
在MySQL 5.7中，这些操作代价的默认值都可以进行配置。为了计算出方案的总代价，还需要参考一些统计数据，如表数据量大小、元数据和索引信息等。MySQL的代价优化器模型整体如下图所示：
代价模型
2.3 基于代价的索引选择
还是继续拿上述的SQL * from where name like 'Bobby%' and dt > '2021-07-06'为例，我们看看MySQL优化器是如何根据代价模型选择索引的。首先，我们直接在建表时加入四个候选索引。
Create Table: CREATE TABLE `sync_test1` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`cid` int(11) NOT NULL,
`phone` int(11) NOT NULL,
`name` varchar(10) NOT NULL,
`address` varchar(255) DEFAULT NULL,
`dt` datetime DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `IX_name` (`name`),
KEY `IX_dt` (`dt`),
KEY `IX_dt_name` (`dt`,`name`),
KEY `IX_name_dt` (`name`,`dt`)
) ENGINE=InnoDB
通过执行看出MySQL最终选择了索引。
mysql> explain select * from sync_test1 where name like 'Bobby%' and dt > '2021-07-06';
+----+-------------+------------+------------+-------+-------------------------------------+---------+---------+------+------+----------+------------------------------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+------------+------------+-------+-------------------------------------+---------+---------+------+------+----------+------------------------------------+
| 1 | SIMPLE | sync_test1 | NULL | range | IX_name,IX_dt,IX_dt_name,IX_name_dt | IX_name | 12 | NULL | 572 | 36.83 | Using index condition; Using where |
+----+-------------+------------+------------+-------+-------------------------------------+---------+---------+------+------+----------+------------------------------------+
然后再打开MySQL追踪优化器Trace功能。可以看出，没有选择其他三个索引的原因均是因为在其他三个索引上使用range scan的代价均>= 。
mysql> select * from INFORMATION_SCHEMA.OPTIMIZER_TRACEG;
*************************** 1. row ***************************
TRACE: {
...
"rows_estimation": [
{
"table": "`sync_test1`",
"range_analysis": {
"table_scan": {
"rows": 105084,
"cost": 21628
},
...
"analyzing_range_alternatives": {
"range_scan_alternatives": [
{
"index": "IX_name",
"ranges": [
"Bobbyu0000u0000u0000u0000u0000 <= name <= Bobbyÿÿÿÿÿ"
],
"index_dives_for_eq_ranges": true,
"rowid_ordered": false,
"using_mrr": false,
"index_only": false,
"rows": 572,
"cost": 687.41,
"chosen": true
},
{
"index": "IX_dt",
"ranges": [
"0x99aa0c0000 < dt"
],
"index_dives_for_eq_ranges": true,
"rowid_ordered": false,
"using_mrr": false,
"index_only": false,
"rows": 38698,
"cost": 46439,
"chosen": false,
"cause": "cost"
},
{
"index": "IX_dt_name",
"ranges": [
"0x99aa0c0000 < dt"
],
"index_dives_for_eq_ranges": true,
"rowid_ordered": false,
"using_mrr": false,
"index_only": false,
"rows": 38292,
"cost": 45951,
"chosen": false,
"cause": "cost"
},
{
"index": "IX_name_dt",
"ranges": [
"Bobbyu0000u0000u0000u0000u0000 <= name <= Bobbyÿÿÿÿÿ"
],
"index_dives_for_eq_ranges": true,
"rowid_ordered": false,
"using_mrr": false,
"index_only": false,
"rows": 572,
"cost": 687.41,
"chosen": false,
"cause": "cost"
}
],
"analyzing_roworder_intersect": {
"usable": false,
"cause": "too_few_roworder_scans"
}
},
"chosen_range_access_summary": {
"range_access_plan": {
"type": "range_scan",
"index": "IX_name",
"rows": 572,
"ranges": [
"Bobbyu0000u0000u0000u0000u0000 <= name <= Bobbyÿÿÿÿÿ"
]
},
"rows_for_plan": 572,
"cost_for_plan": 687.41,
"chosen": true
}
...
}
下面我们根据代价模型来推演一下代价的计算过程：
走全表扫描的代价： + = （数据页个数 * ）+ (数据行数 * + 1.1) = （ / + 1）+ (rows * 0.2 + 1.1) = ( / 16384 + 1) + ( * 0.2 + 1.1) = 21627.9。走二级索引的代价： + = (预估范围行数 * + 1) + (数据行数 * + 0.01) = (572 * 1 + 1) + (572*0.2 + 0.01) = 687.41。走二级索引IX_dt的代价： + = (预估范围行数 * + 1) + (数据行数 * + 0.01) = (38698 * 1 + 1) + (38698*0.2 + 0.01) = 46438.61。走二级索引的代价: + = (预估范围行数 * + 1) + (数据行数 * + 0.01) = (38292 * 1 + 1) + (38292 * 0.2 + 0.01) = 45951.41。走二级索引的代价： + = (预估范围行数 * + 1) + (数据行数 * + 0.01) = (572 * 1 + 1) + (572*0.2 + 0.01) = 687.41。
补充说明
计算结果在小数上有偏差，因为MySQL使用%g打印浮点数，小数会以最短的方式输出。除“+1.1 +1”这种调节值外，Cost计算还会出现+0.01, 它是为了避免index scan和range scan出现Cost的竞争。Cost计算是基于MySQL的默认参数配置，如果Cost Model参数改变，的选项不同，数据分布不同都会导致最终Cost的计算结果不同。可查询.，默认16K。2.4 基于代价的索引推荐思路
如果想借助MySQL优化器给慢查询计算出最佳索引，那么需要真实地在业务表上添加所有候选索引。对于线上业务来说，直接添加索引的时间空间成本太高，是不可接受的。MySQL优化器选最佳索引用到的数据是索引元数据和统计数据，所以我们想是否可以通过给它提供候选索引的这些数据，而非真实添加索引的这种方式来实现。
通过深入调研MySQL的代码结构和优化器流程，我们发现是可行的：一部分存在于层的frm文件中，比如索引定义；另一部分存在于层中，或者通过调用层的接口函数来获取，比如索引中某个列的不同值个数、索引占据的页面大小等。索引相关的信息，如下图所示：
基于代价的索引推荐思路
因为MySQL本身就支持自定义存储引擎，所以索引推荐思路是构建一个支持虚假索引的存储引擎，在它上面建立包含候选索引的空表，再采集样本数据，计算出统计数据提供给优化器，让优化器选出最优索引，整个调用关系如下图所示：
基于代价的索引推荐思路
3 索引推荐实现
因为存储引擎本身并不具备对外提供服务的能力，直接在MySQL 层修改也难以维护，所以我们将整个索引推荐系统拆分成支持虚假索引的存储引擎和对外提供服务的Go-两部分，整体架构图如下：
架构图
首先简要介绍一下存储引擎，这是一个轻量级的存储引擎，负责将索引的相关接口透传到Go-部分。因为它必须采用C++实现，与Go-间存在跨语言调用的问题，我们使用了Go原生的轻量级RPC技术+cgo来避免引入重量级的RPC框架，也不必引入第三方依赖包。函数调用链路如下所示，MySQL优化器调用的C++函数，参数转换成C语言，然后通过cgo调用到Go语言的方法，再通过Go自带的RPC客户端向服务端发起调用。
调用链路
下面将重点阐述核心逻辑Go-部分，主要流程步骤如下。
3.1 前置校验
首先根据经验规则，排除一些不支持通过添加索引来提高查询效率的场景，如查系统库的SQL，非、、 SQL等。
3.2 提取关键列名
这一步提取SQL可用来添加索引的候选列名，除了选择给出现在where中的列添加索引，MySQL对排序、聚合、表连接、聚合函数（如max）也支持使用索引来提高查询效率。我们对SQL进行语法树解析，在树节点的where、join、order by、group by、聚合函数中提取列名，作为索引的候选列。值得注意的是，对于某些SQL，还需结合表结构才能准确地提取，比如：
* from tb1, tb2 where a = 1，列a归属tb1还是tb2取决于谁唯一包含列a。 * from tb1 join tb2 where tb1.a = 1，在自然连接中，tb1和tb2默认使用了相同列名进行连接，但SQL中并没有暴露出这些可用于添加索引的列。3.3 生成候选索引
将提取出的关键列名进行全排列即包含所有的索引组合，如列A、B、C的所有索引组合是['A', 'B', 'C', 'AB', 'AC', 'BA', 'BC', 'CA', 'CB', 'ABC', 'ACB', 'BAC', 'BCA', 'CAB', 'CBA']，但还需排除一些索引才能得到所有的候选索引，比如：
已经存在的索引，如存在AB，需排除AB、A，因为MySQL支持使用前缀索引。超过最大索引长度3072字节限制的索引。一些暂时不支持的索引，如带地理数据类型列的空间索引。3.4 数据采集
直接从业务数据库采集，数据分成元数据、统计数据、样本数据三部分：
元数据：即表的定义数据，包括列定义、索引定义，可通过show table获取。统计数据：如表的行数、表数据大小、索引大小，可以通过查询.获取；已存在索引的（关键值：即索引列的不同值个数，值越大，索引优化效果越明显），可以通过查询mysql.表获取。样本数据：候选索引为假索引，采集的统计数据并不包含假索引的数据，这里我们通过采集原表的样本数据来计算出假索引的统计数据。
数据采集
下面介绍样本数据的采样算法，好的采样算法应该尽最大可能采集到符合原表数据分布的样本。比如基于均匀随机采样的方式 * from table where rand() < rate，然而它会给线上数据库造成大量I/O的问题，严重时可引发数据库故障。所以我们采用了基于块的采样方式：它参考了MySQL 8.0的直方图采样算法，如对于一张100万的表，采集10万行数，根据主键的最小值最大值将表数据均分成100个区间，每个区间取一块1000行数据，采集数据的SQL，最后将采集到的数据塞入采样表中。代码如下：
select A,B,C,id from table where id >= 1000 and id = 10000 and id <= 20000 limit 1000;
...
3.5 统计数据计算
下面举例说明两个核心统计数据的计算方式。首先是，优化器在处理范围查询时，如果可以用索引，就会调用该函数估算走该索引可过滤出的行数，以此决定最终选用的索引。
比如，对于 * from where A > 100 and B 100有多少行数，在索引页B上估计B
其次是用于计算索引区分度的。如果直接套用上述公式：样本列上不同值个数 * (原表行数 / 样本表行数)， 如上述的候选索引A，根据样本统计出共有100个不同值，那么在原表中，该列有多少不同值？一般以为是10,000 =100 *（1,000,000/100,000）。但这样计算不适用某些场景，比如状态码字段，可能最多100个不同值。针对该问题，我们引入斜率和两趟计算来规避，流程如下：
统计数据计算
3.6 候选索引代价评估
这一步让优化器帮助我们从候选索引中选出最佳索引，主要步骤如下：
建包含候选索引的表：将候选索引塞入原表定义，并把存储引擎改为，在推荐引擎的上创建表。通过在推荐引擎上 =json SQL，获取优化器选择的索引。
值得注意的是，MySQL表最多建64个索引（二级索引），计算所有候选索引的可能时，使用的是增幅比指数还恐怖的全排列算法。如下图所示，随着列数的增加，候选索引数量急剧上升，在5个候选列时的索引组合数量就超过了MySQL最大值，显然不能满足一些复杂SQL的需求。统计美团线上索引列数分布后，我们发现，95%以上的索引列数都
———END———
限 时 特 惠： 本站每日持续更新海量各大内部创业教程，永久会员只需109元，全站资源免费下载 点击查看详情
站 长 微 信： nanadh666
