Skip to Content
HTTP 완벽 가이드
book

HTTP 완벽 가이드

by David Gourlry, Brian Totty, Lee Eung Jun, Sang -Il Jeong, Anshu Agarwal, Seilu Reddy, Marjorie Sayre
May 2022
Beginner to intermediate
756 pages
21h 30m
Korean
Insight
Content preview from HTTP 완벽 가이드
275
9
장 웹 로봇
The Definitive Guide
로봇
META
지시자
로봇 META 지시자에는 몇 가지 종류가 있으며, 시간이 지나면서 점차 검색엔진과
그들의 로봇이 활동과 기능 집합을 확장함에 따라 새 지시자가 추가될 가능성이 높
다. 가장 널리 쓰이는 로봇 META 지시자 두 가지는 다음과 같다.
NOINDEX
로봇에게 이 페이지를 처리하지 말고 무시하라고 말해준다. (예: 이 페이지의 콘텐
츠를 색인이나 데이터베이스에 포함시키지 말 것)
<META NAME="ROBOTS" CONTENT="NOINDEX">
NOFOLLOW
로봇에게 이 페이지가 링크한 페이지를 크롤링하지 말라고 말해준다.
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
NOINDEX와 NOFOLLOW 외에, 의미가 반대인 INDEX와 FOLLOW 지시자와,
NOARCHIVE 지시자, 그리고 ALL과 NONE 지시자가 있다. 이들 로봇 META 태그
지시자는 다음과 같이 요약할 수 있다.
INDEX
로봇에게 이 페이지의 콘텐츠를 인덱싱해도 된다고 말해준다.
FOLLOW
로봇에게 이 페이지가 링크한 페이지를 크롤링해도 된다고 말해준다.
NOARCHIVE
로봇에게 이 페이지의 캐시를 위한 로컬 사본을 만들어서는 안 된다고 말해준다.
23
ALL
INDEX, FOLLOW와 같다
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

AirBnbBlueOriginElectronic ArtsHomeDepotNasdaqRakutenTata Consultancy Services

QuotationMarkO’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
QuotationMarkI wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
QuotationMarkI’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
QuotationMarkI'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Mark W.
Embedded Software Engineer

You might also like

몽고DB 완벽 가이드(3판): 실전 예제로 배우는 NoSQL 데이터베이스 기초부터 활용까지

몽고DB 완벽 가이드(3판): 실전 예제로 배우는 NoSQL 데이터베이스 기초부터 활용까지

김인범, 크리스티나 초도로우, 섀넌 브래드쇼, 오언 브라질

Publisher Resources

ISBN: 9788966261208