
275
9
장 웹 로봇
The Definitive Guide
로봇
META
지시자
로봇 META 지시자에는 몇 가지 종류가 있으며, 시간이 지나면서 점차 검색엔진과
그들의 로봇이 활동과 기능 집합을 확장함에 따라 새 지시자가 추가될 가능성이 높
다. 가장 널리 쓰이는 로봇 META 지시자 두 가지는 다음과 같다.
NOINDEX
로봇에게 이 페이지를 처리하지 말고 무시하라고 말해준다. (예: 이 페이지의 콘텐
츠를 색인이나 데이터베이스에 포함시키지 말 것)
<META NAME="ROBOTS" CONTENT="NOINDEX">
NOFOLLOW
로봇에게 이 페이지가 링크한 페이지를 크롤링하지 말라고 말해준다.
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
NOINDEX와 NOFOLLOW 외에, 의미가 반대인 INDEX와 FOLLOW 지시자와,
NOARCHIVE 지시자, 그리고 ALL과 NONE 지시자가 있다. 이들 로봇 META 태그
지시자는 다음과 같이 요약할 수 있다.
INDEX
로봇에게 이 페이지의 콘텐츠를 인덱싱해도 된다고 말해준다.
FOLLOW
로봇에게 이 페이지가 링크한 페이지를 크롤링해도 된다고 말해준다.
NOARCHIVE
로봇에게 이 페이지의 캐시를 위한 로컬 사본을 만들어서는 안 된다고 말해준다.
23
ALL
INDEX, FOLLOW와 같다