#data-science
노트 20개
Algorithm › Math
수학적 최적화와 정수 계획법배정·일정·적재 같은 조합 문제를 결정 변수·제약 조건·목적 함수로 적어 솔버에 맡기는 방법. 전용 알고리즘·휴리스틱·솔버 모델링의 차이, 정수 선형 계획법 모델링 예(구간 배정), 목적 함수 설계와 운영에서의 주의점을 정리했다.
Algorithm › Math
푸리에 변환신호를 여러 주파수의 사인·코사인 성분의 합으로 분해해 시간·공간 영역을 주파수 영역으로 바꾸는 변환. 디지털 신호에는 이산 푸리에 변환(DFT)을 쓰고 FFT로 O(n log n)에 계산한다. 크기(스펙트럼)는 성분의 세기, 위상은 위치 정보를 담으며, 주파수 영역에서 필터링한 뒤 역변환한다.
AI-Data
LLM·에이전트 도구(Claude Code, 스킬, 루프 엔지니어링)와 AI 활용법, 머신 러닝·딥러닝·강화 학습·자연어 처리의 기초 개념, 파이썬 데이터 분석·Jupyter 같은 데이터 도구에 관한 노트.
AI & Data
결정 트리와 앙상블: 랜덤 포레스트와 부스팅표 형태(정형) 데이터에서는 딥러닝보다 트리 기반 모델이 강할 때가 많다. 지니 불순도로 가지를 나누는 결정 트리, 여러 트리를 투표시키는 배깅·랜덤 포레스트, 앞 모델의 실수를 이어 고치는 부스팅(AdaBoost, XGBoost·LightGBM·CatBoost)을 비교한다. 두 계열이 쓰는 트리 깊이와 하이퍼파라미터의 차이, 정형 데이터에서 그레이디언트 부스팅이 이기는 이유, 큰 트리 하나보다 작은 트리 여러 개가 나은 이유(상관과 분산)를 다루고, 학습한 모델을 서버나 기기에 배포하는 방식을 정리한다.
AI & Data
네이버 블로그 크롤링네이버 검색 API로 키워드별 블로그 글 URL·제목·작성일을 모으고, iframe 안의 본문은 PostView 주소나 Selenium으로 받아 BeautifulSoup으로 추출해 CSV로 저장하는 흐름. API 한도, iframe 구조, 선택자 변경, 예외 처리 함정을 정리한다.
AI & Data
데이터 시각화: 인코딩, 차트 고르기, 디자인 원칙시각화는 데이터의 각 열을 위치·길이·색 같은 시각 채널에 대응시키는 일이다. 그래픽 문법의 일곱 요소로 차트를 분해하고, 데이터 유형과 지각 특성으로 채널을 고르고, 크기·분포·비율·관계·시간 변화라는 질문으로 차트를 고른 뒤, 잉크 비례·겹침 풀기·적고 의미 있는 색·직접 레이블·옅은 맥락 요소로 다듬고 3차원은 피한다.
AI & Data
데이터 직군: 분석가·엔지니어·머신러닝 엔지니어·사이언티스트데이터 직군은 성향에 따라 기획자형 데이터 분석가, 개발자형 데이터 엔지니어와 머신러닝 엔지니어, 연구자형 데이터 사이언티스트로 나뉜다. 직군별 주요 업무·필요 역량·자격 요건, 분석가와 머신러닝 직군의 일하는 흐름, 연구와 프로덕션의 차이, 애널리틱스 엔지니어·MLOps 엔지니어·AI 엔지니어 같은 새 직군, 기대와 현실의 차이, 직군별 학습 로드맵, 자격증·대학원·학원과 포트폴리오(Kaggle, 공모전, 직접 수집하는 프로젝트, 블로그), 채용 과제와 면접까지 정리한다.
AI & Data
데이터 파이프라인과 저장소 용어데이터 파이프라인은 수집 → 적재 → 저장 → 처리 → 활용의 다섯 단계로 데이터를 옮기고 다듬는다. 단계별 도구 지도(2026)와 도구를 고르는 원칙, 배치와 스트림·이벤트 시간과 늦게 오는 데이터·람다와 카파 아키텍처, ETL과 ELT, 웨어하우스·레이크·레이크하우스·테이블 포맷·데이터 메시 같은 저장소 용어, 데이터 계층과 테이블 이름 규칙, 분석 저장소가 커 가는 단계와 재작업에 강한 적재·운영 원칙을 정리한다.
AI & Data
데이터의 위치 추정: 평균·절사평균·가중평균·중앙값수치 데이터를 값 하나로 대표하는 위치 추정(대푯값)을 정리한다. 산술평균은 이상치 하나에 크게 흔들리므로, 양 끝을 잘라 내는 절사평균, 데이터마다 중요도를 주는 가중평균, 순서의 가운데를 쓰는 중앙값을 상황에 맞게 고른다.
AI & Data
머신 러닝 기초: 네 단계 추상화머신 러닝은 데이터의 분포를 배워 예측하는 일이다. 문제를 데이터 → 모델 → 최적화 목표(손실 함수) → 최적화 알고리즘의 네 단계로 나눠 보면 어떤 기법이든 자리를 찾을 수 있다. 최소제곱법과 그 행렬 풀이(정규 방정식)를 예로 들고, K-겹 교차 검증과 데이터 누수, 과적합·과소적합, 확률과 우도의 차이와 MLE·MAP, 특징화, 규제(L1·L2)와 특징 스케일링의 구분, 차원의 저주와 PCA를 정리한다. 소프트웨어 엔지니어가 다시 초보자가 되어 머신 러닝 실무자로 넘어가는 법도 다룬다.
AI & Data
분산 데이터 처리: MapReduce, Spark, SQL 엔진한 서버로 감당할 수 없는 데이터를 클러스터로 처리하는 기술의 계보(GFS·MapReduce·Hadoop → Spark → Trino)와 핵심 원리를 정리했다. MapReduce의 한계, Spark RDD의 계보(lineage)·지연 실행·좁은/넓은 의존성, 지금의 표준인 DataFrame·Spark SQL, 객체 저장소 위 클러스터 운영 팁, 대화형 SQL 엔진이 빠른 이유, 열 지향 포맷 Parquet의 컬럼 선택·조건 푸시다운을 다룬다.
AI & Data
시각화 설계 과정: 과업 분석, 상호작용, 평가시각화 도구는 사용자가 데이터로 무엇을 하려는지(과업)를 먼저 끌어내고, 스케치와 프로토타입을 반복해 형태를 정하고, 개관 → 확대·필터 → 세부 순서의 상호작용을 붙인 뒤, 사용자가 얻은 통찰(정성)과 통제 실험의 정확도·속도(정량)로 평가한다.
AI & Data
시계열 분석: 정상성·분해·ARIMA에서 Prophet과 딥러닝 예측까지시간 순서로 관측한 데이터를 다루는 시계열 분석을 정리한다. 추세·계절성·주기 성분, 정상성과 ACF·PACF·단위근 검정, 로그 변환과 차분, 고전 분해와 STL, 기준 예측과 지수평활, ARIMA·SARIMAX와 GARCH 같은 확장, Prophet의 성분 모델과 주요 파라미터, 윈도 지도 학습·seq2seq·인과 합성곱 같은 딥러닝 예측, 시간 순서를 지키는 평가, DTW 거리로 하는 시계열 분류·군집까지 다룬다.
AI & Data
예측형 AI와 생성형 AI예측형 AI는 과거 데이터에서 분류·회귀·추천·이상 탐지 같은 좁은 답을 내고, 대개 직접 학습한 모델로 만든다. 생성형 AI는 사전 학습된 큰 모델 위에 프롬프트·컨텍스트를 얹어 열린 출력을 만든다. 두 방식의 개발 루프, 평가 방법, 흔한 함정과 대응을 비교한다.
AI & Data
웹 크롤링 전략: 정적·동적 판별과 수집 방식 고르기크롤링은 먼저 페이지가 정적인지 동적인지 판별하고, 공식 API → 숨은 데이터 엔드포인트 직접 호출(네트워크 리버싱) → 헤드리스 브라우저 순으로 가벼운 방식을 고른다. 브라우저 자동화는 편하지만 느리고 무거우며, 엔드포인트를 찾으면 훨씬 가볍고 빨라진다. 로그인 페이지의 쿠키·세션·CSRF 토큰, 브라우저 자동화의 암묵적·명시적 대기, 멀티프로세싱·스레드·비동기로 병렬 수집하는 법도 다룬다.
AI & Data
이벤트 로그 설계와 수집지표와 의사 결정에 쓰는 이벤트 로그를 어떻게 설계하고 모으는지 정리했다. 보고 싶은 지표에서 거꾸로 로그를 정하기, 기록 시점의 기준 세우기, 매번 검증하기, 테이블 모양으로 남기기 같은 설계 원칙과 설계 순서, 품질 문제의 원인과 대응, who·what·how·when 구조, 스키마로 로그를 공유하는 법, 클라이언트·서버 로그의 차이, 에이전트 → 스트림 버퍼 → 원본 저장소·검색 인덱스로 이어지는 수집 파이프라인과 수집 자체를 감시하는 법을 다룬다.
AI & Data
파이썬 데이터 분석 프로세스데이터를 구하고 NumPy·pandas로 처리한 뒤 탐색적 데이터 분석(EDA)과 시각화로 패턴을 찾고, 필요하면 성능을 개선하는 파이썬 데이터 분석의 흐름.
AI & Data
프로덕트 데이터 분석: 지표, 로그, 실험서비스에 쌓이는 사용자 데이터로 제품을 계속 고치는 일. 서비스를 보는 틀(AARRR) → 로그를 지표로 → 지금 가장 중요한 지표(OMTM) → 쪼개서 들여다보기의 순서로 진행한다. 지표의 조작적 정의, 저량과 유량, 허무 지표, 선행 지표, 로그가 분석의 전제인 이유, 심슨의 역설·코호트·퍼널, A/B 테스트와 밴딧, 결과를 행동으로 옮기는 법을 정리한다.
AI & Data
Jupyter Notebook코드·실행 결과·마크다운 문서·시각화를 한 파일에 담는 웹 기반 인터랙티브 개발 환경으로, 데이터 과학의 사실상 표준 도구.
AI & Data
newspaper로 기사 본문 추출하기사이트별 파서 없이 뉴스·블로그 기사에서 제목·작성자·발행일·본문·이미지를 뽑는 파이썬 라이브러리 newspaper. 관리가 멈춘 newspaper3k 대신 같은 API의 newspaper4k를 쓰고, download → parse → nlp 순서, Source로 사이트 기사 URL 모으기, Configuration으로 언어·헤더·프록시 다루기를 정리한다.