마지막으로 구글이 계속해서 새로운 웹 페이지를 검색하여 색인을 생성하는지, 색인된 모든 웹
페이지에 새로운 링크가 있는지의 여부를 계속 검사하는지 궁금한 사람도 있을 것이다. 이에
대한 답은 ‘예’다. 구글의 ‘구글 검색 작동 방식에 대한 심층 가이드
214
’의 내용을 참고하자.
구글 검색은 웹 크롤러
web
crawler
라는 소프트웨어로 웹을 정기적으로 탐색해 색인에 추가할 페이지를 찾는 완
전 자동화된 검색 엔진입니다. 실제로 검색 결과에 표시되는 대부분의 페이지는 수동으로 제출하여 색인에 추
가하는 것이 아니라 웹 크롤러가 웹을 탐색할 때 자동으로 찾아서 추가하게 됩니다. […] 모든 웹 페이지의 중
앙 레지스트리가 없기 때문에 구글은 지속적으로 새 페이지와 업데이트된 페이지를 찾아서 알려진 페이지 목
록에 추가해야 합니다. 이 프로세스를 ‘
URL
검색’이라고 합니다. 일부 페이지는 구글이 이미 방문했기 때문
에 색인되어 있습니다. 그렇지 않은 페이지는 구글이 알려진 페이지에서 새 페이지로 연결되는 링크를 따라갈
때 검색됩니다(
예
카테고리 페이지와 같은 허브 페이지가 새 블로그 게시물로 연결되는 링크). 또 다른 페이
지는 구글이 크롤링할 수 있도록 사이트 맵을 제출할 때 검색됩니다. […] 사용자가 검색어를 입력하면 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.