#scraping

AI & Data

네이버 검색 API로 키워드별 블로그 글 URL·제목·작성일을 모으고, iframe 안의 본문은 PostView 주소나 Selenium으로 받아 BeautifulSoup으로 추출해 CSV로 저장하는 흐름. API 한도, iframe 구조, 선택자 변경, 예외 처리 함정을 정리한다.

• #python
• #data-science
• #api

AI & Data

사이트별 파서 없이 뉴스·블로그 기사에서 제목·작성자·발행일·본문·이미지를 뽑는 파이썬 라이브러리 newspaper. 관리가 멈춘 newspaper3k 대신 같은 API의 newspaper4k를 쓰고, download → parse → nlp 순서, Source로 사이트 기사 URL 모으기, Configuration으로 언어·헤더·프록시 다루기를 정리한다.

• #python
• #data-science
• #nlp