#data-representation
노트 1개
Computer Science › Computer Architecture
부동소수점 오차: 반올림·비교·누적0.1 + 0.2가 0.3이 아닌 이유는 2진 부동소수점이 0.1을 정확히 담지 못하기 때문이다. 반올림 오차가 생기는 세 가지 원인, 반올림 모드, ulp와 상대 오차, 같음 비교를 상대 오차로 하는 법, 덧셈·뺄셈에서 오차가 커지는 흡수·상쇄와 Kahan 합산, 돈을 위한 decimal 타입을 정리한다.