2020-02-28から1日間の記事一覧

浮動小数点誤差の自分メモ

普段適当にfloat32やfloat16使ってるけど、適当すぎてたまに困るので勉強のために机上での考察とプログラムを動かして検証してみた。 オーバーフロー、アンダーフロー 指数部が表現可能な範囲外を超えるケース float32なら指数が+127を超えるとオーバーフロ…