#floating-point
노트 3개
Computer Science › Computer Architecture
데이터의 표현컴퓨터가 숫자와 문자를 비트로 저장하는 방식: 진법과 변환, KB와 KiB, 워드 크기와 32비트·64비트의 차이, 문자 코드, 보수와 부호 확장, 고정·부동 소수점(IEEE 754 단정밀도·배정밀도의 범위와 특수값), 패리티와 해밍 코드.
Computer Science › Computer Architecture
부동소수점 오차: 반올림·비교·누적0.1 + 0.2가 0.3이 아닌 이유는 2진 부동소수점이 0.1을 정확히 담지 못하기 때문이다. 반올림 오차가 생기는 세 가지 원인, 반올림 모드, ulp와 상대 오차, 같음 비교를 상대 오차로 하는 법, 덧셈·뺄셈에서 오차가 커지는 흡수·상쇄와 Kahan 합산, 돈을 위한 decimal 타입을 정리한다.
Computer Science › Computer Architecture
컴퓨터 산술 연산CPU가 다루는 데이터 형식별 덧셈·뺄셈 하드웨어 알고리즘, 시프트와 덧셈·뺄셈으로 하는 곱셈·나눗셈, 부동 소수점 연산, BCD 십진 연산.