根据Intel文档，指令CVTTSD2SI将fp值截断为64位有符号整数，如果转换不准确，则按照MXCSR舍入模式进行舍入。以下是
当转换不精确时，返回的值将根据MXCSR寄存器中的舍入控制位进行舍入。
浏览 9提问于2021-11-07得票数 4
2回答
有没有一种简单的方法使Python使用32位而不是64位？它的工作方式和JavaScript的Math.fround是一样的，但是我想了想也想不出一个解决方案。
浏览 19提问于2021-09-10得票数 1
回答已采纳
2回答
在PHP 5+中开发计算器时，程序员是否可以在不考虑舍入错误和小数表示不精确的情况下获得结果？那么错误或不精确-是由PHP内置的核心决定的，还是由开发人员决定的？PHP 7支持6
浏览 4提问于2016-01-02得票数 1
1回答
我从dataframe中抓取了一行，如下所示：
Clicks Spend clk_ar CPC AdRank temp tempRan我需要在列temp中用2位数对值进行舍入round(df.temp,2)
1676725 1.66备选案文2：1676725 1.67
Name: temp, d
浏览 0提问于2018-08-09得票数 4
回答已采纳
1回答
我的简单问题是创建一个函数，该函数确定对于某个给定的n，数字N是否可以写为a^n，即我需要检查N^(1/n)是否为整数。不知何故，此函数会产生错误的结果： r = float(N) ** ( 1. / float(n) )
return r.is_integer()对于n=2，它是有效的。对于n=3和N=1,8,27，该函数将生成True，这是正确的。但从那时起，例如对于4*4*4=64或5*5*5=125，则为False。我如何
浏览 10提问于2017-07-27得票数 3
回答已采纳
5回答
在构建一个处理大量数学计算的应用程序时，我遇到了这样一个问题，即某些数字会导致舍入误差。
虽然我理解浮点不精确，但问题是如何处理确切的数字，以确保当计算是预先形成的，浮点舍入不会引起任何问题？
浏览 0提问于2013-06-26得票数 23
回答已采纳
在从Matlab迁移到Python时，我得到了不同的矩阵乘法和求幂结果。norm(reg - p_reg) = 7.0642e-12这也
浏览 0提问于2019-02-09得票数 0
12回答
例如，说0.005不完全等于0.005，但对该数字进行四舍五入会产生正确的结果。问题是Excel是如何解决这个问题的？
对于上述问题，此中的解决方案不正确。
浏览 3提问于2011-08-04得票数 24
例如：不管使用的是什么浮子？
我知道浮点的精度不是精确的，但精确地说是不精确的，所以二进制的舍入会产生完全相同的二倍吗？
浏览 0提问于2018-04-02得票数 31
回答已采纳
在计算70000.0*5.65500*18.0/36000.0并将结果与另一个数字进行比较时，我在金融应用程序中遇到了一个问题。准确的结果是197.925 使用Decimal时，结果取决于操作顺序： from decimal import DecimalDecimal)/Decimal('36000.0')*Decimal('18.0') - Decimal('197.925000')
The result is
浏览 28提问于2021-01-28得票数 1
我最近遇到了一个问题，我需要把数字附加到列表中，只有当它们不在列表中时，我才需要在列表中添加数字，然后我不得不在后面进行比较。在浮点运算误差中出现了这个问题。new_list.append(num) #above check to see if the item is already in the list
问题是，some_calculation()有时会生成一个不精确的数字，比如5.333333333333332，据我的计算所需，这与本例中的_li
浏览 0提问于2014-03-14得票数 0
回答已采纳
1回答
C1位在x87 FPU状态字中的目的之一是显示不精确的结果是否被舍入。我在MXCSR寄存器中没有看到类似的信息。
浏览 5提问于2019-10-23得票数 4
回答已采纳
1回答
我在玩一些Ruby中浮点舍入错误的玩具例子，我注意到下面的行为让我感到惊讶。首先，一个不足为奇的例子，其中出现舍入错误：#=> [0.1, 0.1, 0.1, 0.1, 0.1, 0.1, 0.1, 0.1, 0.1,0.1]
#=> 0.9999999999999999numbers.sum在
浏览 0提问于2019-08-07得票数 5
回答已采纳
我知道我可以写我自己的函数，这里的问题是为什么股票函数有这么多buggy？根据MDN的说法，它是在JS1.5中实现的，所以它并不新鲜。或者我不理解这个函数，对吗？
浏览 1提问于2013-08-22得票数 4
1回答
将字段设置为"float“字段类型会将响应中的源数据50转换为50.0。
有没有办法通过一些模式上的调整，我可以把它变成50.00？
浏览 0提问于2015-06-19得票数 0
1回答
我在试着计算正弦曲线的相位谱。下面的代码生成初始相位为零的1 1Hz正弦信号。fft_phase)xlabel("Frequency (Hz)")grid(True)
show() 但结果与我的预期不符它具有1 Hz分量的非零相位： ? 它显示1 Hz谐波的相位错误。代码(或方法)有什么问题？
浏览 35提问于2019-06-11得票数 0
我知道这与小数点的数目有关，但我不知道为什么。
如何确保像14.50这样的数字总是被15舍入？
浏览 3提问于2014-11-17得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
