#nlp
노트 4개
AI & Data
서비스용 텍스트 분류 모델 만들기악성 댓글 탐지, 상품 카테고리 자동 분류처럼 실제 서비스에 넣는 분류 모델을 만들 때의 결정들. 라벨 기준 정의와 애매한 데이터 제외, 노이즈 많은 텍스트의 토큰화, 가벼운 모델을 고르는 이유와 BoW 선형 모델에서 TextCNN·BiLSTM·트랜스포머까지의 후보, 클래스 불균형, 모델로 라벨 오류 찾기, 사람이 고친 데이터로 재학습, 텍스트·이미지·메타데이터를 함께 쓰는 다중 입력 모델을 정리했다.
AI & Data
자연어 처리 파이프라인: 전처리부터 언어 모델까지자연어 처리(NLP)는 사람의 언어를 컴퓨터가 다루게 하는 분야다. 표현·분류·구조 분석·중의성 해소·언어 모델·시퀀스 변환으로 나뉘는 과제, 데이터셋 준비 → 전처리(토큰화·정제·정규화·인코딩·패딩) → 모델 학습 → 평가·예측의 흐름, 한국어 데이터셋, 교착어 토큰화, 원-핫·TF-IDF·임베딩 층 같은 표현 방식, n-gram부터 트랜스포머·LLM까지의 언어 모델 계보와 퍼플렉서티, 학습 이전의 구문 분석·지식 그래프, 스펙트로그램에서 출발하는 음성 인식과 음성 합성을 정리한다.
AI & Data
LLM은 무엇을 하고 왜 작동하나대규모 언어 모델은 '지금까지의 글에 이어질 그럴듯한 다음 토큰'을 하나씩 확률로 고르는 기계다. 다음 토큰 예측, 매개변수 파일과 실행 코드 두 개로 된 모델, 인터넷의 손실 압축으로서의 사전 학습과 환각, 역전 저주, 임베딩, 트랜스포머 내부 구조, 기본 모델에서 어시스턴트로 가는 학습 단계, 스케일링 법칙, 계산 환원 불가능성에서 오는 한계와 이를 보완하는 시스템 2 추론·자기 개선·도구 사용까지 정리한다.
AI & Data
newspaper로 기사 본문 추출하기사이트별 파서 없이 뉴스·블로그 기사에서 제목·작성자·발행일·본문·이미지를 뽑는 파이썬 라이브러리 newspaper. 관리가 멈춘 newspaper3k 대신 같은 API의 newspaper4k를 쓰고, download → parse → nlp 순서, Source로 사이트 기사 URL 모으기, Configuration으로 언어·헤더·프록시 다루기를 정리한다.