
263
9
장 웹 로봇
The Definitive Guide
http-equiv 정보를 찾아내기 위해 HTML 문서의 HEAD 태그를 탐색하기를 원할 수
도 있다.
14
9.2.5
User
-
Agent
타기팅
웹 관리자들은 많은 로봇이 그들의 사이트를 방문하게 될 것임을 명심하고, 그 로
봇들로부터의 요청을 예상해야 한다.
많은 웹 사이트들은 그들의 여러 기능을 지원할 수 있도록 브라우저의 종류를 감
지하여 그에 맞게 콘텐츠를 최적화한다. 이것을 함으로써, 사이트는 로봇에게 콘텐
츠 대신 에러 페이지를 제공한다. 몇몇 검색엔진에서 “당신의 브라우저는 프레임
을 지원하지 않습니다(your browser does not support frames)”라는 문구로 검색을
해 보면, HTTP 클라이언트가 웹브라우저가 아닌 로봇이었음에도 그 문구를 보여
주었던 에러 페이지들의 목록을 볼 수 있을 것이다.
사이트 관리자들은 로봇의 요청을 다루기 위한 전략을 세워야 한다. 예를 들어
특정 브라우저의 기능이 지원되는 것을 전제하여 콘텐츠를 개발하는 대신, 풍부한
기능을 갖추지 못한 브라우저나 로봇 등 다양한 클라이언트에 잘 대응하는 유연한
페이지를 개발할 수 있을 것이다. 사이트 관리자들은 최소한 로봇이 그들의 사이트
에 방문했다가 콘텐츠를 얻을 수 없어 당황하는 일이 없도록 대비해야 ...