#data
노트 5개
AI & Data
데이터 파이프라인과 저장소 용어데이터 파이프라인은 수집 → 적재 → 저장 → 처리 → 활용의 다섯 단계로 데이터를 옮기고 다듬는다. 단계별 도구 지도(2026)와 도구를 고르는 원칙, 배치와 스트림·이벤트 시간과 늦게 오는 데이터·람다와 카파 아키텍처, ETL과 ELT, 웨어하우스·레이크·레이크하우스·테이블 포맷·데이터 메시 같은 저장소 용어, 데이터 계층과 테이블 이름 규칙, 분석 저장소가 커 가는 단계와 재작업에 강한 적재·운영 원칙을 정리한다.
AI & Data
분산 데이터 처리: MapReduce, Spark, SQL 엔진한 서버로 감당할 수 없는 데이터를 클러스터로 처리하는 기술의 계보(GFS·MapReduce·Hadoop → Spark → Trino)와 핵심 원리를 정리했다. MapReduce의 한계, Spark RDD의 계보(lineage)·지연 실행·좁은/넓은 의존성, 지금의 표준인 DataFrame·Spark SQL, 객체 저장소 위 클러스터 운영 팁, 대화형 SQL 엔진이 빠른 이유, 열 지향 포맷 Parquet의 컬럼 선택·조건 푸시다운을 다룬다.
AI & Data
이벤트 로그 설계와 수집지표와 의사 결정에 쓰는 이벤트 로그를 어떻게 설계하고 모으는지 정리했다. 보고 싶은 지표에서 거꾸로 로그를 정하기, 기록 시점의 기준 세우기, 매번 검증하기, 테이블 모양으로 남기기 같은 설계 원칙과 설계 순서, 품질 문제의 원인과 대응, who·what·how·when 구조, 스키마로 로그를 공유하는 법, 클라이언트·서버 로그의 차이, 에이전트 → 스트림 버퍼 → 원본 저장소·검색 인덱스로 이어지는 수집 파이프라인과 수집 자체를 감시하는 법을 다룬다.
AI & Data
MLOps: 머신러닝을 운영 환경에서 굴리기MLOps는 머신러닝(ML)과 운영(Ops)을 합친 말로, 모델을 서비스에 올리고 데이터·모델 버전 관리, 모니터링, 재학습까지 계속 돌리는 일이다. 생명 주기별 구성 요소와 도구, 프로젝트를 고르고 지표·베이스라인을 정하는 법, Kubeflow Pipelines로 본 학습·배포 파이프라인, ML 시스템에 필요한 테스트, 피처 테이블과 학습·서빙 불일치를 막는 법, 파이프라인을 먼저 잇고 모델은 나중에 키우는 원칙을 정리했다.
Tools
Segment로 사용자 데이터 수집하기한 번 심은 이벤트 추적 코드로 여러 분석·마케팅 도구에 데이터를 보내는 CDP Segment의 Source·Destination 구조, Track·Identify 스펙, Cloud/Device 모드, Warehouse, 디버깅.