在MySQL
中 UPDATA 和 INSERT 数据的时候,如果数据上面带有emoji
图标,很容易更新或者插入不成功,导致报错
Error: ER_TRUNCATED_WRONG_VALUE_FOR_FIELD:
Incorrect string value: '\xF0\x9F\x91\xBD\xF0\x9F...' for column 'sig' at row
资料显示原因是,MYSQL 5.5 之前, UTF8 编码只支持 1-3 个字节,只支持 BMP 这部分的 unicode 编码区,而emoji
图标恰好是 4 个字节的编码进行存储。从 MYSQL 5.5 开始,可支持 4 个字节 UTF 编码utf8mb4
,一个字符最多能有 4 字节,所以能支持更多的字符集。所以要解决问题,必需把数据库表字符编码全部改成utf8mb4
常用字符集
- ASCII:美国信息互换标准编码;英语和其他西欧语言;单字节编码,7 位表示一个字符,共 128 字符
- GBK:双字节,汉字内码扩展规范;中日韩汉字、英文、数字;双字节编码;共收录了 21003 个汉字,GB2312 的扩展
- UTF-8:Unicode 标准的可变长度字符编码;Unicode 标准(统一码),业界统一标准,包括世界上数十种文字的系统;使用一至三个字节为每个字符编码
- utf8mb4:存储四个字节,应用场景用于存储
emoji
表情,因为可以emoji
表情四个字节。要求 MySQL 版本 > 5.5.3 - 其他常见字符集:
UTF-32
,UTF-16
,Big5
,latin1
数据库中的字符集包含两层含义
- 各种文字和符号的集合,包括各国家文字、标点符号、图形符号、数字等
- 字符的编码方式,即二进制数据与字符的映射规则
系统环境
- MySQL 5.7.14
- Debian 8
修改数据库、表、字段
# 对每一个数据库:
ALTER DATABASE 这里数据库名字 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;
# 对每一个表:
ALTER TABLE 这里是表名字 CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
# 对每一个字段:
ALTER TABLE 这里是表名字 CHANGE 字段名字 重复字段名字 VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
# 上面一句或者使用 modify 来更改
ALTER TABLE 这里是表名字 modify 字段名字 VARCHAR(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT '';
utf8mb4 完全向后兼容 utf8,无乱码或其他数据丢失的形式出现
检查你的字段和索引
不要将所有的都设置成utf8mb4
,这个没有必要。我只在某些字段类型为VARCHAR
的时候才设置成utf8mb4
修改 MySQL 配置文件
root@debian:/etc/mysql/mysql.conf.d# vi mysqld.cnf
[client]
default-character-set = utf8mb4
[mysql]
default-character-set = utf8mb4
[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci
重启 MySQL
root@debian:/# /etc/init.d/mysql restart
查看是否设置成功
# 登陆MySQL进行查询
mysql> SHOW VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%';
# 运行上面代码显示下面结果
# +--------------------------+--------------------+
# | Variable_name | Value |
# +--------------------------+--------------------+
# | character_set_client | utf8mb4 |
# | character_set_connection | utf8mb4 |
# | character_set_database | utf8mb4 |
# | character_set_filesystem | binary |
# | character_set_results | utf8mb4 |
# | character_set_server | utf8mb4 |
# | character_set_system | utf8 |
# | collation_connection | utf8mb4_unicode_ci |
# | collation_database | utf8mb4_unicode_ci |
# | collation_server | utf8mb4_unicode_ci |
# +--------------------------+--------------------+