Skip to main content

お世話になっております、小澤と申します。(2度目の投稿です。)

小数型のメジャーを文字列のディメンションとして扱いたいため、str関数を持ちいて文字列型に変更したところ、誤差が乗ってしまう場合があります。

明示的にRound関数を用いて有効小数点を限定しても事象は変わらないようです。

この場合どのよう対応するべきでしょうか?ソフトウェアの改善が必要では?という気もしています。

 

  元データ(Categoryはとくに使用していない)

TimeOnvalueCategory0.01A0.02A0.1A0.14A0.17A0.24A

計算式

TimeOnvalueRoundround([TimeOnvalue],2)TimeOnvalue文字str([TimeOnvalue])TimeOnvalueRound文字str([TimeOnvalueRound])

結果:0.01と0.02は誤差が乗っていないが、それ以外は誤差が生じている

小数を文字列に変更すると誤差が生じる場合がある

9 个回答
0/9000