웹 로봇은 사람과의 상호작용 없이 연속된 웹 트랜잭션들을 자동으로 수행하는 소프트웨어 프로그램9.1 크롤러와 크롤링웹 크롤러 웹페이지를 한 개 가져오고, 다음 그 페이지가 가리키는 모든 웹페이지를 가져오는 것을 재귀적으로 반복하는 방식으로 웹을 순회하는 로봇9.1.1 어디에서 시작하는가: 루트 집합 루트집합: 크롤러가 방문을 시작하는 URL들의 초기 집합=> 충분히 다른 장소에서 URL을 선택하여 루트 집합을 만들어야 한다. 좋은 루트 집합이란?=> 크고 인기 있는 웹사이트, 새로 생성된 페이지들의 목록, 자주 링크되지 않는 잘 알려져 있지 않은 페이지들의 목록을 구성9.1.2 링크 추출과 상대 링크 정상화크롤러가 크롤링을 진행하면서 새 링크를 발견함에 따라 목록이 급속히 확장된다.9.1.3 순환 피하기..
