Aus 4webmaster.de

Die Datei robots.txt enthält Anweisungen für die automatischen Crawler der Suchmaschinen, welche Verzeichnisse sie nicht durchsuchen sollen.

Lesen Sie die Logdatei /var/log/apache2/error.log, ob sie die Eintragung File does not exist: var/www/robots.txt enthält.

Beispiel einer robots.txt:

User-agent: *
Disallow: /000-DEFAULT/
Disallow: /phpmyadmin/
Disallow: /test/