시작하기 일반적인 웹사이트 개발은 내부적으로만 사용하는 대외비적인 성격이 강해서 외부의 검색과 무관하게 진행됩니다. 그렇다 보니 개발자임에도 검색 그리고 특히 SEO(Search Engine Optimization)과 같은 기술을 공부하거나 관심을 가지지 않았습니다. 그렇지만 일반 사용자를 대상으로 하는 플랫폼을 개발을 하게 되면서 이전과 다른 학습이 필요했는데 그 부분 중 일부가 검색과 SEO 기술이었습니다. 검색에 대한 지식을 처음 접하시는 분을 위해 SEO에 대해 간략히 이야기드리면 티스토리 글(데이터)이나 네이버 블로그 글(데이터) 아니면 어떤 웹 사이트에서 생산되는 글(데이터)을 인터넷에서 잘 검색이 될 수 있도록 해주는 기술 사양의 일부입니다. 즉 지금 작성하고 있는 이 글과 같은 일종의 데이..
시작하기 웹 크롤러(web crawler) 아니면 웹 스파이더(web spider)라고 불리는 것은 통칭 엔진 봇이라고 말하는 프로그램입니다. 일명 방대한 네트워크를 말하는 WWW(World Wide Web), 즉 웹을 돌아다니면서 데이터를 수집하고 색인하는 임무를 수행합니다. 웹 크롤러와 관련된 내용을 검색해보면 크롤링, 스크래핑이라는 단어도 연관되어서 나오는데 크롤링은 앞서 말한 웹 클롤러가 하는 임무를 정의하는 말이지만 스크래핑은 다른 성격을 지는 내용입니다. 크롤링(crawling)은 정해진 규칙을 지키면서 웹 문서를 수집하고 색인하는 작업이고 스크래핑(scraping)은 웹 공간에 있는 특정 목적을 가지고 취득해 사용하는 방법을 말합니다. 분명히 크롤링과 스크래핑은 엄연히 목적을 지니고 다른 작..