有人知道为什么使用SQLServer 2005吗?
SELECT CONVERT(DECIMAL(30,15),146804871.212533)/CONVERT(DECIMAL (38,9),12499999.9999)
给我11.74438969709659,
但是当我将分母的小数位数增加到15位时,我得到的答案就不那么准确了:
SELECT CONVERT(DECIMAL(30,15),146804871.212533)/CONVERT(DECIMAL (38,15),12499999.9999)
给我11.74438969美元
发布于 2009-04-03 10:02:19
简而言之,使用DECIMAL(25, 13 )就可以完成所有的计算--你会像声明的那样精确:小数点前12位,小数点后13位。规则是: p+s必须等于38,这样你就安全了!为什么会这样呢?因为SQL Server中的算法实现非常糟糕!在他们解决这个问题之前,请遵守这条规则。
发布于 2009-12-07 21:45:42
我注意到,如果你将除法值转换为浮点数,它会给出正确的答案,即:
select 49/30 (result = 1)
会变成:
select 49/cast(30 as float) (result = 1.63333333333333)
发布于 2009-01-08 11:56:47
转换表达式而不是参数。
select CONVERT(DECIMAL(38,36),146804871.212533 / 12499999.9999)
https://stackoverflow.com/questions/423925
复制相似问题