본문 바로가기

IT/자동화, 웹스크래핑2

[python, BeautifulSoup] 파이썬의 BeautifulSoup 알아보기 목차   BeautifulSoup는 무슨 라이브러리인가?BeautifulSoup는 Python 프로그래밍 언어로 작성된 HTML 및 XML 파일을 구문 분석하기 위한 라이브러리이다.주로 웹 스크래핑에 사용되며, 복잡한 HTML 구조에서 데이터를 추출하는 데 매우 유용하다.BeautifulSoup는 다양한 Parser를 지원하여 유연하고 강력한 HTML 및 XML 처리 기능을 제공한다.  설치BeautifulSoup는 pip를 통해 설치할 수 있다.pip install beautifulsoup4pip install lxmlpip install html5lib  주요 기능 ParserBeautifulSoup는 여러 종류의 파서를 지원한다. 각 파서마다 장단점이 있으며, 상황에 맞는 파서를 선택할 수 있다.h.. 2024. 5. 29.
[puppeteer,node.js] 웹 자동화 라이브러리 Puppeteer 목차   개요Puppeteer는 구글이 만든 Node.js 라이브러리로, Headless Chrome 또는 Chrominum 브라우저를 제어할 수 있는 기능을 제공한다. 이 라이브러리는 브라우저를 프로그래밍적으로 제어하고, 다양한 브라우저 작업을 자동화하는데 사용된다.  주요 기능 웹 스크래핑(Web Scraping)Puppeteer는 웹 페이지의 내용을 가져오거나 특정 데이터 요소를 추출하는 데 사용된다.JavaScript가 렌더링한 콘텐츠를 포함하여 브라우저에서 볼 수 있는 모든 것을 캡처할 수 있다.자동화된 테스트(Automated Testing)프론트엔드 테스트 자동화 도구로, 브라우저 환경에서 애플리케이션을 테스트 할 수 있다.다양한 사용자 상호작용을 시뮬레이션하여 애플리케이션의 동작을 검증할 .. 2024. 5. 29.