一、高效索引

为了使索引的使用效率更高，在创建索引时，必须考虑在哪些字段上创建索引和创建什么类型的索引。索引设计不合理或者缺少索引都会对数据库和应用程序的性能造成障碍。高效的索引对于获得良好的性能非常重要。

1、准备验证索引的数据

1.1、创建数据库和表

• 1、创建数据库

CREATE DATABASE testbigdata;

• 2、创建学生表

CREATE TABLE `student_info`
(
    `id`          INT(11) NOT NULL AUTO_INCREMENT,
    `student_id`  INT     NOT NULL,
    `name`        VARCHAR(20) DEFAULT NULL,
    `course_id`   INT     NOT NULL,
    `class_id`    INT(11)     DEFAULT NULL,
    `create_time` DATETIME    DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
    PRIMARY KEY (`id`)
);

• 3、创建课程表

CREATE TABLE `course`
(
    `id`          INT(11) NOT NULL AUTO_INCREMENT,
    `course_id`   INT     NOT NULL,
    `course_name` VARCHAR(40) DEFAULT NULL,
    PRIMARY KEY (`id`)
);

1.2、创建模拟数据的存储函数

• 1、创建随机产生字符串函数

DELIMITER $
CREATE FUNCTION rand_string(n INT) RETURNS VARCHAR(255) #该函数会返回一个字符串
BEGIN
    DECLARE chars_str VARCHAR(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ';
    DECLARE return_str VARCHAR(255) DEFAULT '';
    DECLARE i INT DEFAULT 0;
    WHILE i < n
        DO
            SET return_str = CONCAT(return_str, SUBSTRING(chars_str, FLOOR(1 + RAND() * 52), 1));
            SET i = i + 1;
        END WHILE;
    RETURN return_str;
END $
DELIMITER ;

• 2、创建随机数函数

DELIMITER $
CREATE FUNCTION rand_num(from_num INT, to_num INT) RETURNS INT(11)
BEGIN
    DECLARE i INT DEFAULT 0;
    SET i = FLOOR(from_num + RAND() * (to_num - from_num + 1));
    RETURN i;
END $
DELIMITER ;

• 执行函数报异常

[HY000][1418] This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled (you *might* want to use the less safe log_bin_trust_function_creators variable)

由于开启过慢查询日志bin-log, 我们就必须为我们的function指定一个参数。主从复制，主机会将写操作记录在bin-log日志中。从机读取bin-log日志，执行语句来同步数据。如果使用函数来操作数据，会导致从机和主键操作时间不一致。所以，默认情况下，mysql不开启创建函数设置

• 查看mysql是否允许创建函数

SHOW VARIABLES LIKE 'log_bin_trust_function_creators';

image.png

• 命令开启：允许创建函数设置

# 不加global只是当前窗口有效。
SET GLOBAL log_bin_trust_function_creators = 1; 

• mysqld重启，上述参数又会消失。永久方法
  • windows下：my.ini[mysqld]加上

  log_bin_trust_function_creators=1
  

  • linux下：/etc/my.cnf下my.cnf[mysqld]加上

  log_bin_trust_function_creators=1
  

1.3、创建插入模拟数据的存储过程

• 1、创建插入课程表存储过程

DELIMITER $
CREATE PROCEDURE insert_course(max_num INT)
BEGIN
    DECLARE i INT DEFAULT 0;
    SET autocommit = 0; #设置手动提交事务
    REPEAT
        #循环
        SET i = i + 1; #赋值
        INSERT INTO course (course_id, course_name) VALUES (rand_num(10000, 10100), rand_string(6));
    UNTIL i = max_num
        END REPEAT;
    COMMIT; #提交事务
END $
DELIMITER ;

• 2、创建插入学生信息表存储过程

DELIMITER $
CREATE PROCEDURE insert_stu(max_num INT)
BEGIN
    DECLARE i INT DEFAULT 0; SET autocommit = 0; #设置手动提交事务
    REPEAT
        #循环
        SET i = i + 1; #赋值
        INSERT INTO student_info (course_id, class_id, student_id, name)
        VALUES (rand_num(10000, 10100), rand_num(10000, 10200), rand_num(1, 200000), rand_string(6));
    UNTIL i = max_num END REPEAT;
    COMMIT; #提交事务
END $
DELIMITER ;

• 3、调用存储过程

CALL insert_course(100);

CALL insert_stu(1000000);

二、适合创建索引

1、字段的数值有唯一性的限制

索引本身可以起到约束的作用，比如唯一索引、主键索引都是可以起到唯一性约束的，因为在我们的数据表中如果某个字段是唯一性的，就可以直接创建唯一性索引或者主键索引。这样可以更快速地通过该索引来确定某条记录

• 学生表中学号是具有唯一性的字段，为该字段建立唯一性索引可以很快确定某个学生的信息，如果使用其他字段（姓名）的话，可能存在同名现象，从而降低查询速度
• Alibaba：业务上具有唯一特性的字段，即使是组合字段，也必须建成唯一索引
• 说明：不要以为唯一索引影响了 insert 速度，这个速度损耗可以忽略，但提高查找速度是明显的。

2、频繁作为 WHERE 查询条件的字段

某个字段在SELECT语句的 WHERE 条件中经常被使用到，那么就需要给这个字段创建索引了。尤其是在
数据量大的情况下，创建普通索引就可以大幅提升数据查询的效率

• 比如student_info数据表（含100万条数据），假设我们想要查询 student_id=123110 的用户信息。

SELECT course_id, class_id, name, create_time, student_id
FROM student_info
WHERE student_id = 123110;

• 查询student_info 的索引

SHOW INDEX FROM student_info;

student_info表中的索引.png

• EXPLAIN分析

EXPLAIN
SELECT course_id, class_id, name, create_time, student_id
FROM student_info
WHERE student_id = 123110;

EXPLAIN分析结果.png

• 为 WHERE中 student_id 加索引

ALTER TABLE student_info
    ADD INDEX idx_student_id (student_id);

• 查询student_info 的索引

SHOW INDEX FROM student_info;

student_info表中的索引.png

• EXPLAIN再次分析

EXPLAIN
SELECT course_id, class_id, name, create_time, student_id
FROM student_info
WHERE student_id = 123110;

student_id加索引后分析结果.png

• 小结
  • 1、不加索引扫描997194行
  • 2、加索引后扫描5行

3、 经常 GROUP BY 和 ORDER BY 的列

索引就是让数据按照某种顺序进行存储或检索，因此当我们使用 GROUP BY 对数据进行分组查询，或者使用 ORDER BY 对数据进行排序的时候，就需要 对分组或者排序的字段进行索引 。如果待排序的列有多个，那么可以在这些列上建立 组合索引

比如：按照 student_id 对学生选修的课程进行分组，显示不同的 student_id 和 课程数量，显示 100 个即可

• 1、显示索引

SHOW INDEX FROM student_info;

image.png

• 2、隐藏索引idx_student_id (student_id)

使用隐藏索引的前提是，查询优化器对隐藏索引不可见 use_invisible_indexes=off

ALTER TABLE student_info
    ALTER INDEX idx_student_id INVISIBLE;

隐藏索引后索引效果.png

• 3、查询SQL

SELECT student_id, COUNT(*) AS num
FROM student_info
GROUP BY student_id
LIMIT 100;

• 4、EXPLAIN分析SQL

EXPLAIN
SELECT student_id, COUNT(*) AS num
FROM student_info
GROUP BY student_id
LIMIT 100;

EXPLAIN分析结果.png

• 5、如果是ORDER BY，也需要对字段创建索引

如果同时有GROUP BY 和 ORDER BY的情况，比如我们按照 student_id 进行分组，同时按照创建时间降序的方式进行排序，这时我们就需要同时进行GROUP BY 和 ORDER BY，那么是不是需要单独创建student_id 的索引和create_time的索引？

• 5.1、我们对student_id 和create_time的字段分别创建索引
• 5.1.1、查询SQL

SELECT student_id, COUNT(*) AS num
FROM student_info
GROUP BY student_id
ORDER BY create_time DESC
LIMIT 100;

• 5.1.2、EXPLAIN分析查询SQL

EXPLAIN
SELECT student_id, COUNT(*) AS num
FROM student_info
GROUP BY student_id
ORDER BY create_time DESC
LIMIT 100;

EXPLAIN分析结果.png

• 5.1.3、对student_id 和create_time的字段分别创建索引

# 显示索引
ALTER TABLE student_info
    ALTER INDEX idx_student_id VISIBLE;
或
ALTER TABLE student_info
    ADD INDEX idx_student_id (student_id);


ALTER TABLE student_info
    ADD INDEX idx_create_time (create_time);

student_info索引情况.png

• 5.1.4、再次使用 EXPLAIN 分析

EXPLAIN
SELECT student_id, COUNT(*) AS num
FROM student_info
GROUP BY student_id
ORDER BY create_time DESC
LIMIT 100;

EXPLAIN分析结果.png

• 1、使用了索引idx_student_id，而没有使用索引idx_create_time

• 2、依然使用Using temporary; Using filesort

• 5.2、student_id、create_time创建联合索引，字段顺序为create_time, student_id

• 5.2.1、隐藏student_id和create_time独立索引

# 隐藏索引
ALTER TABLE student_info
    ALTER INDEX idx_student_id INVISIBLE;

# 隐藏索引
ALTER TABLE student_info
    ALTER INDEX idx_create_time INVISIBLE;

student_info表索引情况.png

• 5.2.2、创建student_id和create_time联合索引顺序为create_time, student_id

ALTER TABLE student_info
    ADD INDEX idx_create_time_student_id (create_time, student_id);

联合索引.png

• 5.2.3、EXPLAIN分析

EXPLAIN
SELECT student_id, COUNT(*) AS num
FROM student_info
GROUP BY student_id
ORDER BY create_time DESC
LIMIT 100;

EXPLAIN分析结果.png

• 1、使用了idx_create_time_student_id索引

• 2、但是效果并不好，不好的原因是因为创建索引idx_create_time_student_id的create_time, student_id字段的顺序问题

• 5.3、student_id、create_time创建联合索引，字段顺序为create_time, student_id

• 5.3.1、隐藏其他索引

# 隐藏索引
ALTER TABLE student_info
    ALTER INDEX idx_student_id INVISIBLE;

ALTER TABLE student_info
    ALTER INDEX idx_create_time INVISIBLE;

ALTER TABLE student_info
    ALTER INDEX idx_create_time_student_id INVISIBLE;

student_info表索引.png

• 5.3.2、创建student_id和create_time联合索引顺序为student_id，create_time

ALTER TABLE student_info
    ADD INDEX idx_student_id_create_time (student_id, create_time);

student_info表索引.png

• EXPLAIN

EXPLAIN
SELECT student_id, COUNT(*) AS num
FROM student_info
GROUP BY student_id
ORDER BY create_time DESC
LIMIT 100;

EXPLAIN分析结果.png

• 1、使用了索引idx_student_id_create_time

• 2、使用了索引但是效果并不好

• 3、索引效果不无效的原因是，索引字段存在升序和降序

• 5.4、student_id、create_time创建联合索引，字段顺序为 student_id, create_time DESC

• 5.4.1、隐藏其他索引

# 隐藏索引
ALTER TABLE student_info
    ALTER INDEX idx_student_id INVISIBLE;

ALTER TABLE student_info
    ALTER INDEX idx_create_time INVISIBLE;

ALTER TABLE student_info
    ALTER INDEX idx_create_time_student_id INVISIBLE;

ALTER TABLE student_info
    ALTER INDEX idx_student_id_create_time INVISIBLE;

student_info表索引.png

• 5.4.2、创建student_id和create_time联合索引顺序为student_id，create_time（DESC）

ALTER TABLE student_info
    ADD INDEX idx_student_id_create_time_desc (student_id, create_time DESC );

student_info表索引.png

• EXPLAIN

EXPLAIN
SELECT student_id, COUNT(*) AS num
FROM student_info
GROUP BY student_id
ORDER BY create_time DESC
LIMIT 100;

EXPLAIN结果.png

• 1、使用了idx_create_time_student_id索引
• 2、但是效果并不好

4、UPDATE、DELETE 的 WHERE 条件列

对数据按照某个条件进行查询后再进行 UPDATE 或 DELETE 的操作，如果对 WHERE 字段创建了索引，就能大幅提升效率。原理是因为我们需要先根据 WHERE 条件列检索出来这条记录，然后再对它进行更新或删除。如果进行更新的时候，更新的字段是非索引字段，提升的效率会更明显，这是因为非索引字段更新不需要对索引进行维护。

5、DISTINCT 字段需要创建索引

有时候我们需要对某个字段进行去重，使用 DISTINCT，那么对这个字段创建索引，也会提升查询效率

• 比如，我们想要查询课程表中不同的 student_id 都有哪些，如果我们没有对 student_id 创建索引，执行SQL 语句

SELECT DISTINCT(student_id)
FROM `student_info`;

• 对 student_id 创建索引

ALTER TABLE student_info
    ADD INDEX idx_student_id (student_id);
或
ALTER TABLE student_info
    ALTER INDEX idx_student_id INVISIBLE ;

student_info表索引.png

6、多表 JOIN 连接操作时，创建索引注意事项

• 首先，连接表的数量尽量不要超过 3 张 ，因为每增加一张表就相当于增加了一次嵌套的循环，数量级增长会非常快，严重影响查询的效率

• 其次， 对 WHERE 条件创建索引 ，因为 WHERE 才是对数据条件的过滤。如果在数据量非常大的情况下，没有 WHERE 条件过滤是非常可怕的

• 最后，对用于连接的字段创建索引 ，并且该字段在多张表中的 类型必须一致。比如 course_id 在 student_info 表和 course 表中都为 int(11) 类型，而不能一个为 int 另一个为 varchar 类型。

• 如果我们只对 student_id 创建索引，查询SQL语句

SELECT stu.course_id, stu.name, stu.student_id, course_name
FROM student_info stu
         JOIN course cu
              ON stu.course_id = cu.course_id
WHERE stu.name = 'Tawhty';

EXPLAIN分析结果.png

7、使用列的类型小的创建索引

• 类型大小：指的就是该类型表示的数据范围的大小
• 已整数类型为例，如TINYINT、MEDIUMINT、INT、BIGINT，它们占用的存储空间依次递增，能表示的整数范围当然也是依次递增。如果我们想要对某个整数列建立索引的话，在表示的整数范围允许的情况下，尽量让索引列使用较小的类型，比如我们能使用INT就不要使用BIGINT，能使用MEDIUMINT就不要使用INT。因为
  • 1、数据类型越小，在查询时进行的比较操作越快
  • 2、数据类型越小，索引占用的存储空间就越小，在一个数据页内就可以存储更多的记录，从而减少磁盘I/O带来的性能损耗，也就意味着课可以把更多的数据页缓存在内存中，从而加速读写效率。
  • 3、这个建议对于表的主键来说更加适用，因为不仅是聚簇索引会存储主键值，其他所有的二级索引的节点处都会存储一份记录的主键值，如果主键使用更小的数据类型，也就意味着节省更多的存储空间和更高效的I/O

8、使用字符串前缀创建索引

• 假设字符串很长，那存储一个字符串就需要占用很大的存储空间。在我们需要为这个字符串列建立索引时，那就意味着在对应的B+树中有这么两个问题
  -1、B+树索引中的记录需要把该列的完整字符串存储起来，更费时。而且字符串越长，在索引中占用的存储空间越大
  • 2、如果B+树索引中列存储的字符串很长，那在做字符串比较时会占用更多的时间
• 为了解决这个问题，可以通过截取字段的前面一部分内容建立索引，这个就叫前缀索引。这样在查找记录时虽然不能精确的定位到记录的位置，但是能定位到相应前缀所在的位置，然后根据前缀相同的记录的主键值回表查询完整的字符串值。既节约空间，又减少了字符串的比较时间，还大体能解决排序的问题

8.1、TEXT和BLOG类型的字段，进行全文检索会很浪费时间，如果只检索字段前的若干字符，这样可以提高检索速度

• 1、创建一张商户表，因为地址字段比较长，在地址字段上建立前缀索引

CREATE TABLE shop
(
    address VARCHAR(120) NOT NULL
);

• 2、添加索引

ALTER TABLE shop
    ADD INDEX (address(12));

• 3、现在的问题是截取多少来做索引，如果截取得太多，达不到节省索引存储空间的目的，截取得太少，重复内容太多，字段的散列度（选择性）会降低。怎么计算不同的长度的选择性？？？
  • 3.1、字段在全部数据中的选择度

  SELECT COUNT(DISTINCT address) / COUNT(*)
  FROM shop;
  

• 4、通过不同长度去计算，与全表的选择性对比公式

COUNT (DISTINCT LEFT (列名, 索引长度))/COUNT(*)

• 例如

SELECT COUNT(DISTINCT LEFT(address, 10)) / COUNT(*) AS sub10, -- 截取前10个字符的选择度
COUNT (DISTINCT LEFT (address,15)) / COUNT(*) AS sub11, -- 截取前15个字符的选择度
COUNT(DISTINCT LEFT (address,20)) / COUNT(*) AS sub12, -- 截取前20个字符的选择度
COUNT(DISTINCT LEFT (address,25)) / COUNT(*) AS sub13, -- 截取前25个字符的选择度

• 5、使用用户手机号来做实验

  
  
  1位.png
  
  
  3位.png
  
  
  5位.png

7位.png

9位.png

11位.png

20位.png

• 使用手机号来做效果不太理想

• 下面使用uuid

  
  
  1位.png
  
  
  3位.png
  
  
  5位.png
  
  
  7位.png

8.2、索引列前缀对排序的影响

来自 Alibaba《Java开发手册》

• 【强制】在 varchar 字段上建立索引时，必须指定索引长度，没必要对全字段建立索引，根据实际文本区分度决定索引长度。
• 说明：索引的长度与区分度是一对矛盾体，一般对字符串类型数据，长度为 20 的索引，区分度会 高达 90% 以上 ，可以使用 count(distinct left(列名, 索引长度))/count(*)的区分度来确定

9、 区分度高(散列性高)的列适合作为索引

列的基数指的是某一列中不重复数据的个数，如某个列包含值为2, 5, 8, 2, 5, 8, 2, 5, 8，虽然有9条记录，但该列的基数却为3。也就是说，在记录行数一定的情况下，列的基数越大，该列中的值越分散；列的基数越小，该列中的值越集中。这个列的基数指标非常重要，直接影响我们是否能有效的利用索引。最好为列的基数大的列建立索引，为基数太小列的建立索引效果可能不好。

• 可以使用公式 SELECT COUNT(DISTINCT cul) / COUNT(*) FROM table; 计算区分度，越接近1越好，一般超过33%就算是比较高效的索引了
• 联合索引把区分度高（散列性高）的列放在前面

10、 使用最频繁的列放到联合索引的左侧

• 这样也可以较少的建立一些索引。同时，由于"最左前缀原则"，可以增加联合索引的使用率

11、 在多个字段都要创建索引的情况下，联合索引优于单值索引

三、限制索引的数目

在实际工作中，我们也需要注意平衡，索引的数目不是越多越好。我们需要限制每张表上的索引数量，建议单张表的索引数量不超过 6 个

• 1、每个索引都需要占用磁盘空间，索引越多，需要的磁盘空间就越大
• 2、索引会影响INSERT、DELETE、UPDATE等语句的性能，因为表中的数据更改的同时，索引也会进行调整和更新，会造成负担
• 3、优化器在选择如何优化查询时，会根据统一信息，对每一个可以用到的索引来进行评估，以生成出一个最好的执行计划，如果同时有很多个索引都可以用于查询，会增加MySQL优化器生成执行计划时间，降低查询性能

四、不适合创建索引

1、在where中使用不到的字段，不要设置索引

WHERE条件（包括 GROUP BY 、ORDER BY）里用不到的字段不需要创建索引，索引的价值是快速定位，如果起不到定位的字段通常是不需要创建索引的

2、数据量小的表最好不要使用索引

如果表记录太少（1000内），那么是不需要创建索引的。表记录太少，是否创建索引对查询效率的影响并不大。甚至说，查询花费的时间可能比遍历索引的时间还要短，索引可能不会产生优化效果

3、有大量重复数据的列上不要建立索引

在条件表达式中经常用到的不同值较多的列上建立索引，但字段中如果有大量重复数据，也不用创建索引。如用户表中的性别，如果建立索引，不但不会提高查询效率，反而会严重降低数据更新速度

• 要在 100 万行数据中查找其中的 50 万行（比如性别为男的数据），一旦创建了索引，你需要先访问 50 万次索引，然后再访问 50 万次数据表，这样加起来的开销比不使用索引可能还要大

4、避免对经常更新的表创建过多的索引

• 第一层含义：频繁更新的字段不一定要创建索引。因为更新数据的时候，也需要更新索引，如果索引太多，在更新索引的时候也会造成负担，从而影响效率
• 第二层含义：避免对经常更新的表创建过多的索引，并且索引中的列尽可能少。此时，虽然提高了查询速度，同时却会降低更新表的速度。

5、不建议用无序的值作为索引

例如身份证、UUID(在索引比较时需要转为ASCII，并且插入时可能造成页分裂)、MD5、HASH、无序长字符串等

6、删除不再使用或者很少使用的索引

表中的数据被大量更新，或者数据的使用方式被改变后，原有的一些索引可能不再需要。定期找出这些索引，将它们删除，从而减少索引对更新操作的影响

7、 不要定义冗余或重复的索引

7.1、冗余索引

有时有意或无意的就对同一个列创建了多个索引，如：index(a, b, c)相当于index(a)、index(a, b)、index(a, b, c)。创建了index(a, b, c)索引就没有必要再创建后面3个索引了

7.2、重复索引

禁止对同一个列创建多个索引（普通索引、唯一索引），如对主键创建普通索引、唯一索引

小结

索引是一把双刃剑，可提高查询效率，但也会降低插入和更新的速度并占用磁盘空间。选择索引的最终目的是为了使查询的速度变快，上面给出的原则是最基本的准则，但不能拘泥于上面的准则。需要根据实际情况进行分析和判断，选择最合适的索引