
277
9
장 웹 로봇
The Definitive Guide
9.5
로봇 에티켓
1993년, 웹 로봇 커뮤니티의 개척자인 마틴 코스터(Martijn Koster)는 웹 로봇을 만
드는 사람들을 위한 가이드라인 목록을 작성했다. 그 조언 중 몇 가지는 구식이
되어버렸지만, 대다수는 아직도 상당히 유용하다. 원 출처는 마틴의 논문인 “로
봇 제작자들을 위한 가이드라인(Guidelines for Robot Writers)”로, http://www.
robotstxt.org/wc/guidelines.html에서 찾아볼 수 있다.
표 9-6은 원본 목록의 콘텐츠와 정신을 존중하는 것에 무게를 두면서, 로봇 설계
자들과 운영자들을 위해 현대적으로 고쳐 쓴 것이다. 이 가이드라인의 대부분은 월
드 와이드 웹 로봇들을 대상으로 한 것이지만, 작은 규모의 크롤러에도 역시 적용
가능하다.
가이드라인 설명
(
1
) 신원 식별
로봇의신원을밝히라
HTTP
User
-
Agent
필드를사용해서웹서버에게로봇의이름을말하라.이는관리
자들이로봇이무엇을하는지이해하는데도움을줄것이다.몇몇로봇들은
User
-
Agent
헤더에로봇의목적과정책을기술한
URL
을포함시키기도한다.
기계의신원을밝히라 로봇이
DNS
엔트리를가진기계에서실행된다는것을확실히해서,웹사이트가 ...