
247
9
장 웹 로봇
The Definitive Guide
9
장
HTTP: The Definitive Guide
웹 로봇
그럼 이제 웹 로봇이라 불리는 스스로 움직이는 사용자 에이전트에 대해 면밀히 살
펴보면서 HTTP 아키텍처에 대한 여행을 계속하자.
웹 로봇은 사람과의 상호작용 없이 연속된 웹 트랜잭션들을 자동으로 수행하는
소프트웨어 프로그램이다. 많은 로봇이 웹 사이트에서 다른 웹 사이트로 떠돌아다
니면서, 콘텐츠를 가져오고, 하이퍼링크를 따라가고, 그들이 발견한 데이터를 처리
한다. 이러한 종류의 로봇들은 마치 스스로 마음을 가지고 있는 것처럼 자동으로
웹 사이트들을 탐색하며, 그 방식에 따라 ‘크롤러’, ‘스파이더’, ‘웜’, ‘봇’ 등 각양각
색의 이름으로 불린다.
웹 로봇의 몇 가지 예를 들면 다음과 같다.
· 주식시장 서버에 매 분 HTTP GET 요청을 보내고, 여기서 얻은 데이터를 활용해
주가 추이 그래프를 생성하는 주식 그래프 로봇
· 월드 와이드 웹의 규모와 진화에 대한 통계 정보를 수집하는 웹 통계 조사 로봇.
이것들은 웹을 떠돌면서 페이지의 개수를 세고, 각 페이지의 크기, 언어, 미디어
타입을 기록한다.
1
· 검색 데이터베이스를 만들기 위해 발견한 모든 문서를 수집하는 검색엔진 로봇.
· 상품에 대한 가격 데이터베이스를 만들기 위해