MySQL UTF-8的坑

背景


MySQL的UTF-8并不是“真正”的UTF-8,实际只支持最大3个字节。这样会导致,当插入数据包含emoji表情时,数据库会报错。
真正的UTF-8是每个字符最多4个字节。
因此,MySQL官方在2010年发布了一个不同于UTF-8的字符集,叫utf8mb4。

编码参数


首先我们查看一下当前数据库的编码和排序规则


image.png

我们关心的几个变量是

  • character_set_server:默认的内部操作字符集
  • character_set_client:客户端来源数据使用的字符集
  • character_set_connection:MySQL接受到用户查询后,按照character_set_client将其转化为
  • character_set_connection设定的字符集。
  • character_set_results:查询结果编码的字符集
  • character_set_database:当前选中数据库的默认字符集

迁移


那我们需要从utf8迁移到utf8mb4时,需要做哪些事情呢?

  1. 修改数据库、表的编码
# For each database:
ALTER DATABASE database_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;
# For each table:
ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
# For each column:
ALTER TABLE table_name CHANGE column_name column_name VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
# (Don’t blindly copy-paste this! The exact statement depends on the column type, maximum length, and other properties. The above line is just an example for a `VARCHAR` column.)
  1. 需要注意utf8mb4会影响列和索引的长度,例如tinytext可以存储255字节,相当于是85个三字节或63个四字节,如果一个tinytext类型的列,从utf8转为utf8mb4,那它能存储的字节数就变少了。
    同理,索引也有这个影响,InnoDB引擎最大存储767个字节,对应utf8和utf8mb4,相当于255或191个字符。
    因此,在修改编码时,需要注意这个影响
  2. 修改mysql数据库配置:修改mysql连接编码为utf8mb4,最简单的方法可以执行 set names utf8mb4,但这只影响单次连接。一劳永逸的方法是修改mysql配置(需要注意,如果是生产环境,这个不太好处理)
[client]
default-character-set = utf8mb4

[mysql]
default-character-set = utf8mb4

[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

JDBC


如果使用MySQL Connector,需要清楚一下几点:

  1. 对于5.1.46或更早的 Connector版本,mysql服务器必须设置character_set_server=utf8mb4,否则会使用utf8
  2. 对于5.1.47或更后面的版本,指定characterEncoding=UTF-8,会默认映射为utf8mb4
  3. 不要使用查询来set names,因为驱动不会检测编码被更改,仍然会使用最开始建立连接时使用的编码

参考文档


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,544评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,430评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,764评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,193评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,216评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,182评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,063评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,917评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,329评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,543评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,722评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,425评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,019评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,671评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,825评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,729评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,614评论 2 353

推荐阅读更多精彩内容

  • show charcater set; show variables like '%character%'; 1....
    SkTj阅读 1,488评论 0 2
  • 1、问题:mysql 遇到某些中文插入异常最近有同学反馈了这样一个问题: 上述语句在脚本中 load 入库的时候会...
    kanasu阅读 2,827评论 1 5
  • 看着窗外飘着小雨,想起了很多事。一个人的时光总是适合安静地沉思,或许可以安心地享受着喝茶阅读的惬意时光。我总是不太...
    流茵风舞阅读 165评论 0 0
  • 笑是营养素 笑能降血压,笑还能释放压力,减轻沮丧感;笑可以刺激人体分泌多巴胺,使人产生欣快感。我们应该与有幽默感的...
    馨书恩特Ting阅读 251评论 0 0
  • 拍照P图: 1、简拼: 拼图超方便,样式很多,很文艺,还可以配文字,对于微信朋友圈只能发九张图的纠结,有他你想发多...
    Leaf_叶子ye阅读 970评论 0 11