LabVIEWwilliam hill官网

gaiwendi

10年用户 44经验值

擅长:嵌入式技术接口/总线/驱动控制/MCU

私信关注

[问答]

labview中数值的小数位精度问题

labview中数值的小数位精度问题：

我现在有一个19.97十进制数值，在进行for循环，每循环一次减去一个不同的值，最后19.97变成0.01.再循环的时候跟0.01进行比较，我运行的结果却是相减后的0.01与我指定的0.01不相等，我把所有数值的精度都改为了2位精度位数，还是不行，请大神赐教啊

回帖（3）

李玉鑫

2018-11-21 18:26:20

关注下，和我之前遇到的问题很像

举报

sszx2007

2018-11-21 22:34:04

请问，19.97应该叫十进制数值？这是浮点数，浮点数的相等比较是无意义的，为什么无意义？自己百度

举报

gaiwendi

2018-11-22 09:13:28

目前问题算是解决了，我是19.97乘个100，这样就变成整数了

举报

更多回帖

3

相关问答

×

20

完善资料，
赚取积分