In der einfachen Textdatei robots.txt können bestimmte Seiten und Verzeich-
nisse angegeben werden, die vom Indexieren für alle oder auch einzelne Suchma-
schinen ausgenommen werden sollen. Die Datei liegt im Stammverzeichnis (root)
des Webservers. Sehen Sie sich einfach einmal im Web danach um. Sie werden
erstaunt sein, wo Sie überall fündig werden. Diese Datei ist recht leicht aufrufbar.
Sie müssen nur nach dem Domainnamen den Zusatz
robots.txt setzen, also
zum Beispiel:
Bei Amazon wurden bestimmte Verzeichnisse ausgeschlossen, die für Robots
keine interessanten oder gar irreführen
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.