Mit dieser Datei kann bestimmt werden, welche Suchmaschinen (Spider) auf welche Verzeichnisse zugreifen dürfen und auf welche nicht.

Die Datei robots.txt muß sich im DocumentRoot-Verzeichnis befinden und hat folgenden Aufbau:

User-agent: bird
Disallow: /cgi-bin/
 
User-agent: NorthStar
Disallow: /cgi-bin/
Disallow: /private/
 
User-agent: *
Disallow: /geheim/

Unter User-agent muss jeweils der Name des gemeinten Spiders angegeben werden, den Namen finden Sie meist auf den Seiten der entsprechenden Suchmaschine.
 
Per Disallow können die Pfade angegeben werden, die nicht durchsucht werden sollen, natürlich können auch mehrere Pfade angegeben werden.
Wenn Sie als User-agent * angeben, sind damit immer alle, bisher noch nicht genannte Spider gemeint, setzten Sie diesen Eintrag als immer ans Ende der robots.txt !