专栏首页宣言(Siam)博客Mysql 乘法除法精度不一致,除法后四位小数

Mysql 乘法除法精度不一致,除法后四位小数

问题

今天在写项目功能的时候,有一个统计金额的情况,然后需要进行单位转换,所以写下了大概如下功能的语句,但得到的数据为小数点后4位精度,正常我们只需要2位就足够。

select total_fee / 100 from orders

继续排查寻找资料,进行精度转换,找了一圈的资料都不太满意,继续进行测试

测试

测试bug和未知情况,我们一定要最小复现,精简测试,防止其他语句对结果产生干扰。

select 1 / 100;
// 得到 0.0100
select 1 * 0.01;
// 得到 0.01

并且在3/4台设备上运行,不同mysql版本环境都是这样子的结果。

所以初步得知Mysql中,乘法和除法对小数点后的精度不一致

在国内的论坛中没有找到合适的资料,于是到国外论坛寻找,提问,交流。

答案

首先感谢其他前辈对问题的解答和指点,我们也将尽量详细地记录问题的排查。

文明之所以能延续,是因为它们有记忆。希望文章也能帮到更多的朋友。

  • 除法的精度默认是小数点后4位
  • 乘法的精度使用操作数的精度和的方式来判断,如例子中的1*0.01 精度分别是小数点后0位和2位,那么就是0+2 =2 结果也将使用2位精度

测试

select 1.00 * 0.01;
// 结果 0.0100

符合上诉结论。感谢国外前辈指教。

原文链接 Siam博客 宣言博客 https://www.siammm.cn/archives/242

除法使用2位精度

那么我们的问题 如果是要坚持用除法解决,我们可以使用函数来进行转换精度,

CAST( @x / @y AS DECIMAL(m,n) )

DECIMAL的参数可以百度看这个,基本创建过表结构的都能明白。

@x和@y就是除数和被除数。

同时我还提出疑问,是否能在mysql里设置默认除法精度,我们就可以不用每次sql都使用函数计算了。

前辈回复:如果你不想有时候出现出乎意料的情况,那么需要每次都强制使用类型转换。

mysql相关说明文献

https://dev.mysql.com/doc/refman/8.0/en/arithmetic-functions.html

In division performed with /, the scale of the result when using two exact-value operands is the scale of the first operand plus the value of the div_precision_increment system variable (which is 4 by default). For example, the result of the expression 5.05 / 0.014 has a scale of six decimal places (360.714286).

除法的精度规则

由上面引用的文献可知:当使用两个数值进行计算时,结果的精度由第一个操作数的精度 + 系统变量div_precision_increment的值决定,如我们例子中的1 精度是0,系统变量精度是4位默认,所以得到的结果是4位精度

set div_precision_increment = 2;
// 再运行select 1 / 100; 得到 0.01 符合想要的结果

所以我们还可以通过修改默认变量,来改变除法的默认精度。

此时我们再测试

select 1.0 / 100;
// 结果 0.010 符合上文所述结论

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • php 微信支付分 开发过程 H5商城先享后付

    公司项目需要,在H5商城、小程序商城、APP商城、线下促销场景,推出最新的微信支付分功能。

    宣言言言
  • php中的进制和编码

    随着计算机的发展,需要表示的符号越来越多,从一开始的2位代表一字节,到后面的8位代表一字节至今。

    宣言言言
  • Mysql误删,恢复数据,binlog闪回,宝塔面板

    MySQL闪回(flashback)利用binlog直接进行回滚,能快速恢复且不用停机。

    宣言言言
  • IoT连接:比较NB-IoT,LTE-M,LoRa,SigFox和其他LPWAN技术

    08.27.18-IoT-Connectivity-Compared-1068x656-1.jpg

    用户4122690
  • 一篇文章带你看懂服务器 | 必看

    服务器是计算机的一种,它是网络上一种为客户端计算机提供各种服务的高性能的计算机,它在网络操作系统的控制下,将与其相连的硬盘、磁带、打印机、Modem及昂贵的专用...

    网络技术联盟站
  • Spring Boot---(10)SpringBoot整合RabbitMQ

    请参考:Spring Boot---(24)springboot整合RabbitMQ

    IT云清
  • uwsgi 多进程导致数据库连接丢失的踩坑记录

    项目使用的 Flask+SQLAlchemy+uwsgi ,突然有一天编写了一个有对数据库高并发的接口。然后其他本来正常的接口就偶尔会出现404错误,且必须重启...

    Ewdager
  • ASP.NET安全隐患的临时解决方法

    前几天的一个安全会议上公布了一个ASP.NET中的安全隐患(在1.0至4.0的版本中均存在),黑客可以使用这个隐患获取到网站的web.config文件(往往保存...

    张善友
  • [DeeplearningAI 笔记]第三章 1.4-1.7 开发集测试集划分与满足与优化指标

    吴恩达老师课程原地址: https://mooc.study.163.com/smartSpec/detail/1001319001.htm

    DrawSky
  • 在Windows 8下成功安装.Net3.5的方法

    本文转载:http://blog.sina.com.cn/s/blog_57196acf01011z1t.html

    跟着阿笨一起玩NET

扫码关注云+社区

领取腾讯云代金券