腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
浮点
精度
js
问题
、
我在我的
JS
中遇到了下面的错误。而不是返回1001,而是返回1000.99999999。我正试图根除这个bug,并且一直在考虑使用这个库。我不知道该怎么办才能解决这个
问题
。var x = new Big(10);这会产生与没有库的错误相同的错误。
浏览 2
提问于2017-09-26
得票数 1
回答已采纳
2
回答
Ruby数学
运算
的
精度
问题
、
、
、
你知道如何用数学
精度
解决下面的
问题
吗?
浏览 1
提问于2010-09-23
得票数 1
回答已采纳
1
回答
Python有限域矩阵求幂
、
、
、
、
有没有一种简单的方法来计算(特别是幂/幂)元素是有限域的整数的矩阵,或者至少有%
运算
符支持的任意整数
精度
矩阵?我试过numpy,但
问题
是它使用固定
精度
的数据类型,所以它很快就溢出了……然后我尝试了渐近,因为它支持任意整数
精度
,但它似乎不支持有限域
运算
(除了逆
运算
)……
浏览 2
提问于2017-04-17
得票数 1
6
回答
float比double慢吗?64位程序运行速度比32位程序快吗?
、
、
、
、
我听说现代的Intel和AMD CPU可以用双
精度
运算
比用浮点数计算快。 那么标准的数学函数(sqrt、pow、log、sin、cos等)呢?在单
精度
下计算它们应该会快得多,因为它需要的浮点
运算
应该更少。例如,与双
精度
sqrt相比,单
精度
sqrt可以使用更简单的数学公式。这个
问题
的最终答案是什么?
浏览 10
提问于2011-04-21
得票数 15
回答已采纳
3
回答
gcc和sin/cos/超越函数
精度
类似于Windows
、
、
我想在Windows软件的gcc/Linux移植版本中实现完全相同的浮点
运算
结果。出于这个原因,我希望所有的双
精度
运算
都是64位
精度
的。文档说他们内部期望(我想也是使用)长的双
精度
,不管我做什么,他们产生的结果都不同于Windows对应的结果。 这些函数如何使用64位浮点
精度
计算结果?更新:我错了,是printf("%.17f")错误地舍入了正确的双
精度
结果,gdb中的"print x“显示数字本身是正确的。我想在这个
问题
浏览 0
提问于2013-02-25
得票数 0
1
回答
基于ECC的工作
精度
和时间常数算法?
、
在这些算法中,必须执行算术
运算
(如加法和乘法)。这些“内部”操作也必须在固定时间内执行,对吗?那么我猜所有中间变量的
精度
都是一样的。但是这里需要什么
精度
(例如,如果我把两个256位数相乘,我想结果需要512位)。 在恒定时间内执行这些“内部”算术
运算
的好算法是什么?
浏览 0
提问于2016-08-30
得票数 3
回答已采纳
2
回答
双倍Pow实现
、
、
、
、
我正在开发一个将用于运动控制的代码,并且我对pow函数有一个
问题
。我正在使用VS2010作为IDE。我的
问题
是:我有: double d = 1000.0000; 毕竟,我在FPU配置位上遇到了
问题
,这是由Direct3D造成的,OGR3D框架正在使用它。原始员额:
浏览 4
提问于2012-07-17
得票数 4
回答已采纳
1
回答
将Lua配置为float会对整数做什么?
、
所以Lua最酷的一件事就是你可以让它使用浮点数而不是双
精度
数。luaconf.h中的LUA_NUMBER。它对我来说非常好用! 但我一直想知道lua是如何处理整数的。在
js
和as3中,我知道整数仍然只是“数字”。如果数字始终是53位尾数的双
精度
数,那么这种方法非常有效,因为整数中人们期望的32位数字已经被很好地覆盖了。现在,如果要使用23个尾数数字进行浮点
运算
,这将不再像预期的那样工作。代码通常将整数视为32位,用于按位
运算
或打包32位颜色之类的东西。所以我的
问题
是,如果我使用"
浏览 3
提问于2013-06-18
得票数 4
回答已采纳
4
回答
检查double是否适合float的速度有多快?(Java)
、
是否有一些算术或按位
运算
可以在不损失
精度
的情况下检查双
精度
数是否适合浮点数。附言:这解决了C#的一半
问题
:,但我需要一个适用于Java的解决方案。
浏览 0
提问于2014-09-29
得票数 9
1
回答
用于研究目的的nVidia图形处理器:浮子
精度
、
、
、
我以前和CUDA玩过,我对GPGPU的工作原理有基本的了解,但是我对浮标的
精度
感到困扰。 32位浮动
精度
的1/24不是太小了吗?特别
浏览 2
提问于2013-04-16
得票数 3
回答已采纳
1
回答
Decimal.
js
tan的
精度
问题
、
、
、
、
我一直在使用Decimal.
js
来提高我的函数的
精度
,该函数通过反复尝试计算a = tan(a)的正根。它工作,但它返回一个“
精度
限制超过”错误的nTan(504) (将返回4.4934.达到505位数)或更高。return (new Decimal(n + test.slice(0, -1).join(""))).plus(Math.PI * (parseInt(m) || 0)).toString();我的
问题
是: 为什么Decimal.
js
不计算超过504位数时,它广告
浏览 7
提问于2017-10-14
得票数 1
回答已采纳
3
回答
Matlab中的双
精度
运算
、
、
、
我在理解这些双
精度
数的
精度
如何影响Matlab中算术
运算
的结果时遇到了一些麻烦。我认为,由于a和b都是双
精度
的,它们将能够执行达到该
精度
的操作。我知道可能会有舍入误差,但由于这些数字在64位数字表示范围内,我认为这不是
问题
。a = 1.22e-45a == 0(a + b) == 1为什么它能够携带足够的
精度
来识别
浏览 1
提问于2010-09-13
得票数 5
1
回答
CUDA上的高
精度
浮点数
、
、
、
希望还没人问过这个
问题
,但是...有没有什么简单的方法可以让高
精度
的浮点数( 1024位
精度
)在CUDA上工作,而不需要从头开始编码?我需要一些非常简单的东西,我只需要
运算
符+和*...这个是可能的吗?
浏览 2
提问于2011-11-03
得票数 1
4
回答
更快的浮点数乘法
、
我们可以在C/C++中做左移
运算
符,以便更快地将整数乘以2的幂。我的
问题
是, 有什么办法吗?就像整数的左移
运算
符可以更快地乘以浮点数?即使是2的幂??
浏览 2
提问于2009-10-13
得票数 2
1
回答
parseDecimal in JavaScript?
、
、
、
我有一些
JS
计算在进行。由于浮点算术通常使用数字的近似值,而不是精确值,如果将这些浮点数字舍入到固定的
精度
,则通常会得到一些细微的差别。当你与美元打交道时,人们不喜欢这些细微的差别。我的
问题
在这个jsfiddle:中得到了概述。我发现另一篇文章带来了同样的
问题
,并确认
JS
没有内置的十进制数据类型:。你可以看到你的
JS
终端62
浏览 4
提问于2012-06-11
得票数 3
3
回答
seq和==
运算
符的神秘行为。
精度
问题
?
、
、
在创建简单序列时,某些值不能与==
运算
符正确匹配。我通过使用which(round(my.seq, 2) == 0.3)解决了这个
问题
,但我想知道是什么导致了这个
问题
。 提前感谢您的评论。
浏览 0
提问于2012-07-31
得票数 4
回答已采纳
4
回答
混合字符和双
精度
算术
运算
的潜在
问题
?
可能会有潜在的
问题
吗?我应该显式转换类型吗?
浏览 0
提问于2012-03-07
得票数 2
回答已采纳
1
回答
在How中如何使用可选单元
运算
符
、
FitSharp支持可选的单元
运算
符 我如何具体地使用这个?
浏览 0
提问于2015-07-24
得票数 2
回答已采纳
3
回答
非常奇怪的行为:乘法给出错误的答案
我有非常奇怪的
问题
。我有一个应用程序,其中客户将输入质量和价格,然后程序将自动计算。
问题
是,有时它给出的数字是错误的,我举了一个例子。
浏览 4
提问于2013-06-09
得票数 0
2
回答
两个双
精度
值未正常工作的c++比较
、
、
我绞尽脑汁想找出
问题
的原因,幸运的是我找到了,但现在我不明白为什么??是和编译器(GCC)有关还是我在这里漏掉了什么重要的东西?
浏览 3
提问于2013-09-24
得票数 17
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
js浮点数精度计算问题解决
JavaScript计算精度问题
React.js 常见问题
Vue.js常见问题精选(一)
这是个高精度问题
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券