[20210806] requests, urllib, BeatifulSoup, Selenium 라이브러리를 이용한 웹크롤링
웹크롤링 웹크롤링(web crawling)은 웹사이트로 이뤄진 웹 상에서 주기적으로 데이터를 추출하는 것을 말한다. 참고로, 웹에서 데이터를 추출하는 행위 자체는 '웹 스크레이핑'(web scraping)이라고 해야 하지만, 어차피 웹 스크레이핑을 주기적으로 수행하는 것이 웹크롤링이므로, 용어를 웹크롤링으로 통일하여 사용하겠다. 여기서는 파이썬의 기본 내장 라이브러리인 urllib의 하위 모듈들(request, parse, error, robotparse)과, requests 라이브러리, BeautifulSoup 라이브러리, Selenium을 사용한다. requests requests는 URL에 요청을 전달하고 응답을 받아오는 역할을 하는 라이브러리이다. 명령 프롬프트나 터미널에 'pip install ..
2021. 8. 6.