機械社區(qū)

 找回密碼
 注冊會員

QQ登錄

只需一步,快速開始

搜索
查看: 1928|回復(fù): 2
打印 上一主題 下一主題

請教,那位大俠能解決宏程序計算中的數(shù)值溢出問題

[復(fù)制鏈接]
跳轉(zhuǎn)到指定樓層
1#
發(fā)表于 2009-9-6 12:15:43 | 只看該作者 回帖獎勵 |倒序瀏覽 |閱讀模式
最近編了一個宏程序,其中有一個計算數(shù)值的程序段“#110=6.0-6.3+0.3”其結(jié)果應(yīng)該得0。但在存儲器中顯示的是“******" 這應(yīng)該是十進制轉(zhuǎn)換為二進制計算后出現(xiàn)的溢出現(xiàn)象,但要是采用取整的方法,加工精度會受到影響。請教各位大俠,是否有更好的方法。
回復(fù)

使用道具 舉報

2#
發(fā)表于 2009-9-6 16:00:15 | 只看該作者
用INT表示向上取整,假如你要的精度是0.001,那么4 y; b# G6 @1 A6 F5 Q% V% U/ p
#110=(INT(INT((6.0-6.3+0.3)*1000))-0.1))/1000
回復(fù) 支持 反對

使用道具 舉報

3#
 樓主| 發(fā)表于 2012-1-19 13:31:08 | 只看該作者
謝謝大俠指教{:soso_e179:}
回復(fù) 支持 反對

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 注冊會員

本版積分規(guī)則

小黑屋|手機版|Archiver|機械社區(qū) ( 京ICP備10217105號-1,京ICP證050210號,浙公網(wǎng)安備33038202004372號 )

GMT+8, 2024-11-15 14:56 , Processed in 0.051218 second(s), 14 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

© 2001-2017 Comsenz Inc.

快速回復(fù) 返回頂部 返回列表