前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >天天都在用的 Emoji 表情包,居然是怎么存储到 MySQL

天天都在用的 Emoji 表情包,居然是怎么存储到 MySQL

作者头像
程序员小跃
发布2021-08-06 13:11:08
1.4K0
发布2021-08-06 13:11:08
举报
文章被收录于专栏:程序员小跃程序员小跃

现象

最近项目中存储emoji表情包的时候报错:

代码语言:javascript
复制
### Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x81' for column 'column1' at row 1
; uncategorized SQLException; SQL state [HY000]; error code [1366]; Incorrect string value: '\xF0\x9F\x98\x81' for column 'column1' at row 1; nested exception is java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x81' for column 'column1' at row 1]

解决过程及方法

这个问题是由于数据库的编码方式引起的,首先我们来了解一下utf8和utf8mb4的区别

代码语言:javascript
复制
utf8一般是指UTF-8,是针对Unicode的一种可变长度字符编码,每个字符最多三个字节,有时候也称为utf8mb3。
utf8mb4是utf8的超集,mb4就是most bytes 4的意思,专门用来兼容四字节的Unicode,MySQL在5.5.3之后增加了utf8mb4的编码。
MySQL支持的utf8编码最大字符长度为3字节,如果遇到4字节的宽字符就会插入异常了。三个字节的utf8最大能编码的Unicode字符是0xffff,任何不在基本多文本平面的Unicode字符,都无法使用MySQL的utf8字符集存储,包括emoji表情和很多不常见的汉字,以及任何新增的Unicode字符等。如果要在MySQL中保存4字节长度的utf8字符,需要使用utf8mb4字符集。

由以上可以看出,我们想存储emoji表情包,那么数据库的编码方式需要是utf8mb4的,接下来我们来看看数据库和数据库链接的配置:

查看数据库编码,可以看到数据库编码已经是utf8mb4

代码语言:javascript
复制
show variables like 'character_set_database';

查看项目中数据库链接的配置,可以看到设置了characterEncoding=utf8

代码语言:javascript
复制
jdbc:mysql://${mysql.host}:${mysql.port}/${mysql.db}?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull

注:不论是使用utf8编码还是使用utf8mb4,数据库链接url中characterEncoding都设置为utf8(或者UTF-8),没有characterEncoding=utf8mb4这种写法

既然数据库编码是utf8mb4,且数据库链接url中已经设置了characterEncoding=utf8,为什么emoji存储还是报错呢?

经研究发现,原来是pom.xml中的mysql-connector-java版本号在作祟

mysql-connector-java各版本对utf8mb4字符集的支持如下:

项目中使用的mysql-connector-java版本号为5.1.45,由上面的表格可知,需要设置mysql服务端配置文件:

代码语言:javascript
复制
vi /etc/my.cnf
[mysqld]
character-set-server=utf8mb4

设置好之后,重启mysql服务,再次运行项目服务,emoji表情包已经可以写入数据库表中了

有时候,我们并没有修改mysql服务端配置文件和重启mysql服务的权限,这时候可以采用把mysql-connector-java版本号修改为5.1.47及以上或者8.0.13及以上的方式,修改版本号后不用再修改mysql服务配置文件即可存储emoji表情包。

不过mysql-connector-java的版本号也不是我们想修改成啥就修改成啥的,它和mysql版本及java版本都有关系:

mysql-connector-java与Mysql对应版本:

其中:官方更推荐MySQL 5.6以上使用connector/j 8.0

mysql-connector-java与Java对应版本:

其中:JRE 1.7需要connector/J 5.1.21以上

说到这里,大家应该知道如何解决emoji存储的问题了:首先根据mysql版本和Java版本选择对应的mysql-connector-java,再根据mysql-connector-java版本选择对应的解决方案。

有时候,我们的mysql-connector-java版本太低(可能历史项目中mysql或者java版本太低)或者不能更改mysql服务端配置文件,我们还可以采用第二种方案来存储emoji表情包:前端或者后端对用户数据进行编码解码处理,写入时,前端或者后端对用户数据中的emoji进行编码,展示时进行解码展示,由于不推荐这种解决方式,就不展开说了,大家可以自行网上搜索。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-07-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 奔跑吧攻城狮 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档