Skip to Content
HTTP 완벽 가이드
book

HTTP 완벽 가이드

by David Gourlry, Brian Totty, Lee Eung Jun, Sang -Il Jeong, Anshu Agarwal, Seilu Reddy, Marjorie Sayre
May 2022
Beginner to intermediate
756 pages
21h 30m
Korean
Insight
Content preview from HTTP 완벽 가이드
277
9
장 웹 로봇
The Definitive Guide
9.5
로봇 에티켓
1993년, 웹 로봇 커뮤니티의 개척자인 마틴 코스터(Martijn Koster)는 웹 로봇을 만
드는 사람들을 위한 가이드라인 목록을 작성했다. 그 조언 중 몇 가지는 구식이
되어버렸지만, 대다수는 아직도 상당히 유용하다. 원 출처는 마틴의 논문인 “로
봇 제작자들을 위한 가이드라인(Guidelines for Robot Writers)”로, http://www.
robotstxt.org/wc/guidelines.html에서 찾아볼 수 있다.
표 9-6은 원본 목록의 콘텐츠와 정신을 존중하는 것에 무게를 두면서, 로봇 설계
자들과 운영자들을 위해 현대적으로 고쳐 쓴 것이다. 이 가이드라인의 대부분은 월
드 와이드 웹 로봇들을 대상으로 한 것이지만, 작은 규모의 크롤러에도 역시 적용
가능하다.
가이드라인 설명
(
1
) 신원 식별
로봇의신원을밝히라
HTTP
User
-
Agent
필드를사용해서웹서버에게로봇의이름을말하라.이는관리
자들이로봇이무엇을하는지이해하는데도움을줄것이다.몇몇로봇들은
User
-
Agent
헤더에로봇의목적과정책을기술한
URL
을포함시키기도한다.
기계의신원을밝히라 로봇이
DNS
엔트리를가진기계에서실행된다는것을확실히해서,웹사이트가 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

AirBnbBlueOriginElectronic ArtsHomeDepotNasdaqRakutenTata Consultancy Services

QuotationMarkO’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
QuotationMarkI wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
QuotationMarkI’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
QuotationMarkI'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Mark W.
Embedded Software Engineer

You might also like

몽고DB 완벽 가이드(3판): 실전 예제로 배우는 NoSQL 데이터베이스 기초부터 활용까지

몽고DB 완벽 가이드(3판): 실전 예제로 배우는 NoSQL 데이터베이스 기초부터 활용까지

김인범, 크리스티나 초도로우, 섀넌 브래드쇼, 오언 브라질

Publisher Resources

ISBN: 9788966261208