首页
学习
活动
专区
圈层
工具
发布

谨记不要在MySQL中使用“utf8”编码

谨记不要在MySQL中使用“utf8”编码 掉坑回顾: 最近在工作中遇到一个BUG,用于记录客户昵称的数据表,在插入带有表情的字符时候报错.使用的存储引擎是INNODB,当我查看数据库字段的时候确实是设置的...utf8,我传入的字符也是utf8的编码集,这有什么错?...直到我深入了解才发自己使用的姿势并不对,mysql数据库中的"utf8"并不是真正的utf8编码,关于这个问题mysql官方一直未能修复,取而代之的推出了utf8mb4,这一点让我记忆犹新,切记mysql...中不要再使用utf8编码!...简单归纳综合如下: MySQL 的“utf8mb4”是真正的“UTF-8”,MySQL 的“utf8”是一种“专属的编码”,它能够编码的 Unicode 字符其实不多,所以在使用mysql的时候还是用

1.5K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    ANSI, UNICODE,UTF8编码的区别

    本地化过程中涉及到源文件和目标文件的传输问题,这时候编码就显得很重要。中文的网页和操作系统中通常采用ANSI编码,这也是微软OS的一个字符标准。...对于ANSI,不同的国家和地区制定了不同的标准,由此产生了GB2312(简体中文),BIG5(繁体中文),JIS(日文)等各自的编码标准。...英文一个字节,中文两个字节 UNICODE: 使用两个字节对世界上几乎所有的语言进行编码(0x0000-0xFFFF),65536个字符,每种语言的代码段不 同,两个字节(英文、中文都是两个字节)所表达的字符是唯一的...,所以不同语种可以共存于文本中,解决国际化的问题 UTF8是Unicode一种压缩形式,英文A在unicode中表示为0x0041,老外觉得这种存储方式太浪费,因为浪费了50%的空间,于是就把英文压缩成...1个字节,成了utf8编码,但是汉字在utf8中占3个字节,显然用做中文不如 ansi合算,这就是中国的网页用作ansi编码而老外的网页常用utf8的原因。

    2.7K60

    MySQL中使用utf8的见解

    3号知乎网友 在MySQL 8.0中,推荐使用的编码是utf8mb4。...这种编码方式完全兼容utf8,每个字符最多占4个字节,就可以支持更多的字符,原来的utf8编码只能存储最多三个字节的字符,这在存储某些国家的文字或罕见字时有些困难了。...SQL乱码问题 查看编码 my.ini配置文件 4号知乎网友 官方在后续的 MySQL 版本也会逐渐删除 utf8。 在深入探讨 utf8mb4 的好处之前,我们先澄清一下 utf8mb4 代表什么。...在 MySQL 中,“utf8”是指支持 Unicode 字符集的字符编码,每个字符最多使用三个字节。然而,MySQL 中原始的 utf8 实现并没有涵盖所有 Unicode 字符。...它通过每个字符最多使用四个字节而不是 utf8 使用的三个字节来实现此目的。

    60010

    python sqlite3 的使用,性

    sqlite3 的使用,性能及限制 python 中使用sqlite3 首先是基本的使用: # coding=utf8 __author__ = 'Administrator' # 导入模块,在...python 中是已经内置了这个模块,所以就不需要安装而直接使用了 import sqlite3 # 创建数据库的连接,sqlite 是使用的本地文件进行存储的,这里直接打开 conn = sqlite3....connect('path_to_database_name.db', timeout=5) # 对比 mysql 可以进行网络连接数据库,所以要加上对应的协议,用户,密码,地址,数据库,编码等构造出类似的连接字符串...# 操作 # 获取游标 cursor = conn.cursor() # 对于数据库的表的操作是通过游标进行的,所以在操作之前要获取游标对象,要注意的是使用完之后进行关闭 # 查询一个对象 cursor.execute..., (15, )) # 这里是通过游标执行了一个查询语句,其中可以通过占位符进行构造设置相应的参数,很方便不用字符串拼接了。

    1.1K10

    sqlite3的C语言使用(三)

    像往常一样,先建立一个sqlite3变量db,并新建一个数据库文件xxx.db,再创建一个表pass,如下: sqlite3 * db; char * errmsg; int i = 0; sqlite3...pass_text保存密码的明文。现在我介绍一个sql语句新的用法:使用通配符创建一个sql语句,然后用sqlite3_bind来给sql绑定数据。     ...再使用sqlite3_step执行它,就可以完成一个密码的插入工作。     下面是所有sqlite3_bind函数,从函数名大概就能知道是干什么的。...循环体完了就代表程序执行结束了,再使用sqlite3_finalize释放stmt句柄,sqlite3_close释放db连接,fclose关闭pass.txt文件。...我会把我这次的工程文件(包括字典pass.txt和sqlite3的库文件sqlite3.dll、sqlite3.lib、sqlite3.h)在附件里打包给大家,用VS2010建的工程,主要的代码都在sqlite_bind_test.cpp

    1.9K10

    sqlite3的C语言使用(一)

    这个函数可以执行一些非查询类的sql语句,很方便。...pzTail:上面提到zSql在遇见终止符或者是达到设定的nByte之后结束,假如zSql还有剩余的内容,那么这些剩余的内容被存放到pZTail中,不包括终止符     ppStmt:能够使用sqlite3...调用过程必须负责在编译好的sql语句完成使用后使用sqlite3_finalize()删除它。    ...我们这个函数将sql语句编译成二进制字节码,以便后面的函数使用,编译好的东西就是stmt(第五个参数)。别问我为什么,我也不知道,但要执行sql来查询就要编译。...8.到现在,我们已经完成了3个任务了,添加联系人、查询联系人、列出所有联系人,最后再写一个删除联系人的函数就完成任务了: void DelPerson(sqlite3 * db) { int n;

    3.6K11

    sqlite3在数据科学的使用

    sqlite3是一种很好的数据科学工程实践中保存数据(包括原始数据和中间结果存储)的方法。相比于csv/tsv、pickle、parquet,sqlite3的使用场景和意义被大量低估了。...Sqlite3数据科学散人的最佳选择 csv存储效率低,基于字符解析,类型识别(特别datetime)还需要额外处理;pickle,parquet跨工具使用不友好;数据库/数据仓库具有强类型、ER...sqlite3一定程度上数据科学散人进行数据探索的最佳选择:0配置,使用方便服务器-客户端一体,文件读取方式操作数据库(对比于常规数据库)强类型,不需要后置处理(相比于CSV)多语言支持:python,...(android、linux)关于资料关键字查询非常适合;sqlite3的自定义函数需要c编程,支持大部分的聚合、窗口计算,如果把一连串自定义操作包装成也给自定义函数,可以在效率平衡上达到最佳(比如,一个...poi表存储经纬度,可以通过一个自定义dsitance()查询最近的poi点);sqlite基本表格计算能力加上自定义函数等价于pandas、spark的数据计算,基本的统计模型可以直译落地到端末设备上

    1.2K61

    sqlite3的C语言使用(二)

    前一天我列举了一些SQLite3库带的API,是SQLite的初级用法,今天我只讲一个API,但是用法会比前一次更好一点,便利一点。    ...函数原型 int sqlite3_exec( sqlite3 *, /* An open database */ const char...回调函数中:     第一个参数是sqlite3_exec传进来的参数,也就是回调函数和外界交流的通道,比如我们可以传一个结构体指针地址进来,然后把查询到的数据保存在结构体中。    ...第二个参数是查询到的这一行总字段数n(总列数)。     第三个参数是一个数组,从0到n-1保存着咨询结果,都是字符串。     第四个参数和第三个对应,是每个字段的字段名,也是字符串。    ...知道了回调函数的格式,我们就可以利用sqlite3_exec来查询数据库并用回调函数处理查询结果了。

    1.8K20

    MySQL中的 utf8 并不是真正的UTF-8编码 ! !

    我突然想到去年操作MySQL把utf8改成utf8mb4的事儿。 嗯?他本身不就是utf8编码么!那我当时还改个锤子? 难道,MySQL的utf8不是真正的UTF-8编码吗??! 卧槽这。。...带着疑问查询了很多相关材料,才发现这竟然是MySQL的一个历史遗留问题~~ 我笑了,没想到这么牛B的MySQL也会有这段往事。...在这里Mark一下:所有在使用“utf8”的 MySQL 和 MariaDB 用户都应该改用“utf8mb4”,永远都不要再使用“utf8”。 ? 那么什么是编码?什么是 UTF-8?...一篇类似本文这样的文章,如果使用 UTF-8 编码,占用的空间只有 UTF-32 的四分之一左右。 2. utf8 的简史 为什么 MySQL 开发者会让“utf8”失效?...那些希望在空间和速度上双赢的用户,当他们在使用“utf8”的 CHAR 列时,实际上使用的空间比预期的更大,速度也比预期的慢。而想要正确性的用户,当他们使用“utf8”编码时,却无法保存像“?”

    1.1K10

    Hibernate查询方式之:HQL查询(需要使用的类是:Query)

    hibernate查询方式之:HQL查询方式: HQL语句正对的是实体类的名称和实体类的属性进行操作 1.查询所有 格式:from 实体类名称 Query query = session.createQuery...(1)from 实体类名称 where 实体类的属性名称=?...= query.list(); 3.排序查询 使用关键字 order by 格式:from 实体类名称 order by 实体类属性名称 asc/desc //asc:升序 ;desc:降序...: 在mysql中分页查询方式: select * from t_user limit 0,3;//从0开始,每页显示数据为3条 在hibernate中如何使用分页查询?...Object类型 格式:select 实体类属性名称 from 实体类名称; 注意:不能使用* ;不支持这个*写法; Query query = session.createQuery(“select

    1.4K10

    python与sqlite处理中文字符时

    python编码如果把中文数据存储至sqlite数据库某一字段中,再通过查询语句取出并进行相关的字符串操作时,经常会出现错误提示,类似于UnicodeDecodeError,提示某一类型编码不能转换...出现这个问题的原因是因为python默认使用unicode处理sqlite3的TEXT类型(varchar类型也是如此,因为在sqlite中varchar其实就是TEXT)。...python把中文存入数据库时使用了类似于GBK这样的编码,取出时会尝试把TEXT类型数据转换成unicode,从而出现错误。    ...由此导致的另一个不容易发现的错误是存储在数据库中的中文进行了base64之类的编码,在python中取出时不会存在错误,但是再进行base64解码,并与sqlite3中取出的其它text字段进行字符串拼接等处理...sys.setdefaultencode('utf8')

    1.7K20

    sqlite3数据库的使用(一)

    sqlite是一个开源嵌入式的数据库,在移动平台部分,sqlite使用的比较多,如android的sdk就自带了sqlite3.exe,在platform-tools的目录下,关于sqlite建议去它的官网看详细的介绍..., 本节部分,我重点介绍python语言对sqlite数据库简单的操作,以及使用sqlite把自动化中使用到的数据存储到sqlite中来进行维护,这样可以摆脱把数据存储在文件中,毕竟在数据库中维护数据模型程度上...execute 执行一条sql数据 Fetchone() 返回一条数据 Fetchall() 返回所有数据 Fetchmany() 返回多条数据 python中已经自带了sqlite3,直接importsqlite3...就可以使用,下面已一个实例的代码,来说明python操作sqlite数据库的增删修查,具体事例代码见如下: #!...from userInfo;' cur.execute(sql) #返回所有的数据 print '\t'*5+u'查询数据库

    1.5K40
    领券