首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >POWER不反转对数,反之亦然

POWER不反转对数,反之亦然
EN

Stack Overflow用户
提问于 2019-01-04 03:25:23
回答 1查看 58关注 0票数 4

我在POWER/LOG上遇到的问题是,尽管它们似乎适合您发送的数据类型(输出变量类型与第一个变量的类型匹配),但精度似乎接近浮点数的极限,从而导致不正确的输出。示例:

代码语言:javascript
复制
DECLARE @ten numeric(18,4) = 10
declare @num numeric(18,4) = 234567890
SELECT power(@ten,log(@num,@ten))

输出= 234567890.0000,这是正确的

但是,如果我们增加精度,如下所示:

代码语言:javascript
复制
DECLARE @ten numeric(18,6) = 10
declare @num numeric(18,6) = 234567890
SELECT power(@ten,log(@num,@ten))

输出= 234567889.999999,这是不正确的,但舍入可以修复它(?)

最后,如果您将精度更改为类似于Numeric(18,9)的值,则问题会变得更糟:

代码语言:javascript
复制
DECLARE @ten numeric(18,9) = 10
declare @num numeric(18,9) = 234567890
SELECT power(@ten,log(@num,@ten))

Output = 234567889.999999310,这是不正确的,四舍五入无法修复它。

我假设问题是,尽管POWER和Log函数可以接受非常精确的数据类型,但它们的工作变量必须是浮点型?有没有人有这方面的经验,或者有解决这个问题的经验?

EN

回答 1

Stack Overflow用户

发布于 2019-01-04 03:37:19

这篇评论太长了。

可以通过两种不同的方式处理非整数:使用定点运算或浮点运算。这两种方法都会引入错误。

log()函数的文档说明是接受float作为参数并返回floatpower()的行为略有不同。第一个参数被转换为float,但它还决定了返回类型。这就是为什么返回类型的规模是由@ten的规模驱动的。

所发生的一切是,你看到的是具有不同尺度的完全相同的值。这个数字略有偏差并不奇怪--舍入问题是计算机上非整数运算的一个已知问题。

这一点都不奇怪。234567889.9999993145465850830是产生的值。这是SQL Server能够得到的最接近实际答案的结果--并且足够接近大多数工作。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54028582

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档