
280
HTTP
2
부 HTTP 아키텍처
9.6
검색엔진
웹 로봇을 가장 광범위하게 사용하는 것은 인터넷 검색엔진이다. 인터넷 검색엔진
은 사용자가 전 세계의 어떤 주제에 대한 문서라도 찾을 수 있게 해 준다.
오늘날 가장 유명한 웹 사이트들의 상당수가 검색엔진이다. 이들은 많은 웹 사용
자들의 시작점인 동시에 사용자들이 관심 있는 정보를 찾을 수 있도록 도와주는 매
우 유용한 서비스를 제공한다.
웹 크롤러들은 마치 먹이를 주듯 검색엔진에게 웹에 존재하는 문서들을 가져다
주어서, 검색엔진이 어떤 문서에 어떤 단어들이 존재하는지에 대한 색인을 생성할
수 있게 한다. 이 색인은 이 책 뒤쪽에 있는 색인과 비슷하다. 그럼 웹 로봇들의 주
된 공급자인 검색엔진이 어떻게 동작하는지 간략하게 알아보자.
9.6.1
넓게 생각하라
웹이 아직 초창기였을 때, 검색엔진들은 사용자들이 웹상에서 문서의 위치를 알아
내는 것을 돕는 상대적으로 단순한 데이터베이스였다. 웹에서 수십억 개의 페이지
들이 접근 가능한 오늘날, 인터넷 사용자들의 정보 찾기를 도와주는 검색엔진들은
필수가 되었다. 그들은 또한 급격히 성장하는 웹을 다루기 위해 진화하면서 꽤나
복잡해졌다.
수백만 명의 사용자들이 수십억 개의 웹페이지에서 원하는 정보를 찾는 상황에
서, 수백만 명의 사용자들이 생성하는 질의로 인한 부하를 ...