Skip to Main Content
Website Boosting 2.0
book

Website Boosting 2.0

by Mario Fischer
January 2017
Intermediate to advanced content levelIntermediate to advanced
800 pages
35h 27m
German
mitp Verlag
Content preview from Website Boosting 2.0
Kapitel 16
Lösen von technischen Handbremsen
424
16.6 Die robots.txt
In der einfachen Textdatei robots.txt können bestimmte Seiten und Verzeich-
nisse angegeben werden, die vom Indexieren für alle oder auch einzelne Suchma-
schinen ausgenommen werden sollen. Die Datei liegt im Stammverzeichnis (root)
des Webservers. Sehen Sie sich einfach einmal im Web danach um. Sie werden
erstaunt sein, wo Sie überall fündig werden. Diese Datei ist recht leicht aufrufbar.
Sie müssen nur nach dem Domainnamen den Zusatz
robots.txt setzen, also
zum Beispiel:
Bei Amazon wurden bestimmte Verzeichnisse ausgeschlossen, die für Robots
keine interessanten oder gar irreführen
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Marketing für Fotograf*innen

Marketing für Fotograf*innen

Roberto Valenzuela
Marketing mit Instagram

Marketing mit Instagram

Kristina Kobilke
Product Ownership meistern

Product Ownership meistern

Frank Düsterbeck, Ina Einemann

Publisher Resources

ISBN: 9783958452992