시작하기 웹 크롤러(web crawler) 아니면 웹 스파이더(web spider)라고 불리는 것은 통칭 엔진 봇이라고 말하는 프로그램입니다. 일명 방대한 네트워크를 말하는 WWW(World Wide Web), 즉 웹을 돌아다니면서 데이터를 수집하고 색인하는 임무를 수행합니다. 웹 크롤러와 관련된 내용을 검색해보면 크롤링, 스크래핑이라는 단어도 연관되어서 나오는데 크롤링은 앞서 말한 웹 클롤러가 하는 임무를 정의하는 말이지만 스크래핑은 다른 성격을 지는 내용입니다. 크롤링(crawling)은 정해진 규칙을 지키면서 웹 문서를 수집하고 색인하는 작업이고 스크래핑(scraping)은 웹 공간에 있는 특정 목적을 가지고 취득해 사용하는 방법을 말합니다. 분명히 크롤링과 스크래핑은 엄연히 목적을 지니고 다른 작..