#observability
노트 1개
함께 쓰인 태그
AI & Data
LLM 동작은 왜 날마다 다른가「오늘 모델이 멍청해졌다」의 원인을 층별로 정리했다. 가중치는 고정이어도 세션 맥락, 시스템 프롬프트, 후속 학습, 샘플링, 추측 디코딩, MoE 라우팅과 배치 구성(일별 ±8~14%), 하드웨어, 양자화, 컴파일러가 동작을 바꾼다. Anthropic이 인정한 2025년 8~9월 인프라 버그 세 건, seed 파라미터가 없고 temperature 0도 같은 출력을 보장하지 않는 이유, 같은 모델이라도 CLI와 Agent SDK의 시스템 프롬프트가 달라 결과가 달라지는 이유, 그리고 스냅샷 고정·일일 카나리·구조화 출력 같은 대응을 다룬다.