ただ枯れゆく大樹が如く

技術の話やら愚痴やら節操もなく徒然と

四捨五入

浮動小数点型の誤差による四捨五入の問題点

SQLseverにてreal型の小数に対して、CONVERTでNUMERICに変換する際に小数第4位までにしようとした。 SELECT CONVERT(Numeric(10,4), CONVERT(real, 0.00005)) 当然のことながら結果は0.0001になるべきだが、SQLserverで出力された結果は0.0000となってしまっ…