Mit # beginnend können Sie Kommentare in die Datei schreiben welche von den Suchmaschinen nicht gelesen werden.

Der * (Stern) ist eine sogenannte Wildchar und bedeutet "Alle". Grundsätzlich geht eine Suchmaschine und deren Crawler davon aus, dass ALLES eingelesen und veröffentlich werden darf. Befinden sich Inhalte in einem geschützten Bereich können Sie Google einen Benutzernamen und Passwort mitteilen um sich zum beispiel in Ihr Forum einzuloggen und dieses auszulesen. Der Suchmaschinen Benutzer sieht dann nur diese 1 Seite.

Starten Sie Ihre robots.txt mit Ihrer Startzeile
# robots.txt for http://www.beispiel.at/

Damit sperren wir die gesamte Website für ALLE Crawler
User-agent: *
Disallow: /

Damit sperren wir den Server nur für den Googlebot
User-agent: Googlebot
Disallow: /

Den User Agent können Sie nun schon selbst angeben - dazu brauchen Sie mich nicht mehr.

Damit sperren wir alle Seiten die ein Fragezeichen in der URL enthalten.
Disallow: /*?

Damit sperren wir die Crawler aus /verzeichnis/ aus, erlauben jedoch die indexierung der datei.htm
Disallow: /verzeichnis/
Allow: /verzeichnis/datei.htm

Alle Dateien mit der Endung .doc sollen NICHT gecrawlt werden
Disallow: /*.doc$

ALLE Dateien nicht crawlen, die ein Fragezeichen enthalten. Dateien, welche direkt mit einem Fragezeichen enden, sollen hingegen indexiert werden
Disallow: /*?
Allow: /*?$

Alle Verzeichnisse die mit nein beginnen ( /neinsagen/, /nein-meinen/ etc.) vom Crawling ausschliessen
Disallow: /nein*/


Zeigen Sie den Crawlern wo Ihre XML Sitemap zu finden ist
Sitemap: http://www.promomasters.at/sitemap.xml