Robots.txt

Klippstein IT Service

Aus 4webmaster.de

Wechseln zu: Navigation, Suche

Die Datei robots.txt enthält Anweisungen für die automatischen Crawler der Suchmaschinen, welche Verzeichnisse sie nicht durchsuchen sollen.

Lesen Sie die Logdatei /var/log/apache2/error.log, ob sie die Eintragung File does not exist: var/www/robots.txt enthält.


Beispiel einer robots.txt:

User-agent: *
Disallow: /000-DEFAULT/
Disallow: /phpmyadmin/
Disallow: /test/