機(jī)械社區(qū)

 找回密碼
 注冊(cè)會(huì)員

QQ登錄

只需一步,快速開(kāi)始

搜索
查看: 1928|回復(fù): 2
打印 上一主題 下一主題

請(qǐng)教,那位大俠能解決宏程序計(jì)算中的數(shù)值溢出問(wèn)題

[復(fù)制鏈接]
跳轉(zhuǎn)到指定樓層
1#
發(fā)表于 2009-9-6 12:15:43 | 只看該作者 回帖獎(jiǎng)勵(lì) |倒序?yàn)g覽 |閱讀模式
最近編了一個(gè)宏程序,其中有一個(gè)計(jì)算數(shù)值的程序段“#110=6.0-6.3+0.3”其結(jié)果應(yīng)該得0。但在存儲(chǔ)器中顯示的是“******" 這應(yīng)該是十進(jìn)制轉(zhuǎn)換為二進(jìn)制計(jì)算后出現(xiàn)的溢出現(xiàn)象,但要是采用取整的方法,加工精度會(huì)受到影響。請(qǐng)教各位大俠,是否有更好的方法。
回復(fù)

使用道具 舉報(bào)

2#
發(fā)表于 2009-9-6 16:00:15 | 只看該作者
用INT表示向上取整,假如你要的精度是0.001,那么4 y; b# G6 @1 A6 F5 Q% V% U/ p
#110=(INT(INT((6.0-6.3+0.3)*1000))-0.1))/1000
3#
 樓主| 發(fā)表于 2012-1-19 13:31:08 | 只看該作者
謝謝大俠指教{:soso_e179:}

本版積分規(guī)則

小黑屋|手機(jī)版|Archiver|機(jī)械社區(qū) ( 京ICP備10217105號(hào)-1,京ICP證050210號(hào),浙公網(wǎng)安備33038202004372號(hào) )

GMT+8, 2024-11-15 14:56 , Processed in 0.051218 second(s), 14 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

© 2001-2017 Comsenz Inc.

快速回復(fù) 返回頂部 返回列表