PromoMasters Suchmaschinenmarketing
     
  PromoMasters Seminare für Online Marketing  
     
Senden Sie eine E-Mail an PromoMasters Klicken Sie hier wenn Sie Information oder Hilfe benötigen AGB Impressum Produkte & Services Beratung & Schulung PromoMasters Bonus & Specials Kontakt
Bonus & Specials
Newsletter & Tipps
Suchmaschinenoptimierung
Richtige Meta Tags
BLOG
Suchmaschinen in %
Suchmaschinenliste
WebPromotion Tools
Internet Software
     
  PromoMasters Schnellsuche  
 
 
      

PromoMaster

 

 Bonus & Specials
 Die Datei robots.txt richtig für Suchmaschinen einsetzen

Tipps und Newsletter   Einleitung
   

Kommt eine Suchmaschine auf Ihren Server um diesen auszulesen, sollte diese zuerst nach der Datei robots.txt suchen.

Dies ist auch der Grund warum in vielen Webserver Statistiken eine Vielzahl von Error404, Datei Nicht gefunden Meldungen steht. Die Suchmaschine, Crawler oder Robot hat den robots.txt angefordert und dieser ist nicht vorhanden. Alleine schon aus diesem Grund sollte sich auf ihrem Server auch die robots.txt befinden.

In dieser Datei stehen dann Anweisungen was nicht indexiert werden soll. Alle nicht angegebenen Dateien dürfen und können gelesen und indexiert werden. (mehr im Punkt Ausnahmen)

Bitte beachten Sie, dass dies bisher ein Hinweis für Robots ist und kein Muss wobei ich davon ausgehe, dass sich die rechtliche Lage noch entscheidend verändern wird um kostenpflichtige Inhalte vor Suchmaschinen zu schützen.

Einen weiterer Grund spricht dafür eine robots.txt einzusetzen. Es kann sein, dass eine Suchmaschine um ganz sicher zu gehen Sie nicht indexiert, wenn die Datei nicht vorhanden ist und einen Zugriff zulässt bzw. auf Sperrungen hinweist.

Die Erstellung einer robots.txt ist denkbar einfach und schnell. Erstellen Sie eine Text Datei namens robots.txt, füllen diese mit den richtigen Inhalten und stellen diese in das Hauptverzeichnis Ihrer Internetseite. http://www.promomasters.at/robots.txt

Dies ist der Standard auf welchen sich 2008 die großen Suchmaschinenbetreiber Yahoo! (Altavista), MSN (Live) sowie Google geeinigt haben.
www.robotstxt.org

 
PromoMasters Partnerprogramm   So schreiben Sie die Datei robots.txt
   

Mit # beginnend können Sie Kommentare in die Datei schreiben welche von den Suchmaschinen nicht gelesen werden.

Der * (Stern) ist eine sogenannte Wildchar und bedeutet "Alle". Grundsätzlich geht eine Suchmaschine und deren Crawler davon aus, dass ALLES eingelesen und veröffentlich werden darf. Befinden sich Inhalte in einem geschützten Bereich können Sie Google einen Benutzernamen und Passwort mitteilen um sich zum beispiel in Ihr Forum einzuloggen und dieses auszulesen. Der Suchmaschinen Benutzer sieht dann nur diese 1 Seite.

Starten Sie Ihre robots.txt mit Ihrer Startzeile
# robots.txt for http://www.beispiel.at/

Damit sperren wir die gesamte Website für ALLE Crawler
User-agent: *
Disallow: /


Damit sperren wir den Server nur für den Googlebot
User-agent: Googlebot
Disallow: /


Den User Agent können Sie nun schon selbst angeben - dazu brauchen Sie mich nicht mehr.

Damit sperren wir alle Seiten die ein Fragezeichen in der URL enthalten.
Disallow: /*?

Damit sperren wir die Crawler aus /v
erzeichnis/ aus, erlauben jedoch die indexierung der datei.htm
Disallow: /verzeichnis/
Allow: /verzeichnis/datei.htm

Alle Dateien mit der Endung .doc sollen NICHT gecrawlt werden
Disallow: /*.doc$

ALLE Dateien nicht crawlen, die ein Fragezeichen enthalten. Dateien, welche direkt mit einem Fragezeichen enden, sollen hingegen indexiert werden
Disallow: /*?
Allow: /*?$

Alle Verzeichnisse die mit nein beginnen ( /neinsagen/, /nein-meinen/ etc.) vom Crawling ausschliessen
Disallow: /nein*/


Zeigen Sie den Crawlern wo Ihre XML Sitemap zu finden ist
Sitemap: http://www.promomasters.at/sitemap.xml

Bannerexchange   Ausnahmen und Ergänzungen
    Ausnahmen bilden mit Passwörtern geschütze Bereiche (ausser man hinterlegt einen Benutrzernamen udn Passwort bei Google) sowie Dateien mit dem Meta Hinweis noindex, nofollow. Diese Hinweise sind im <HEAD> Bereich unterzubringen.

<meta name="robots" content="noindex, nofollow">
im Gegensatz zu (alles lesen)
<meta name="robots" content="index, follow">

... und es gibt noch mehr!


Kein Snippet der Seite anzeigen (Textausschnitte passend zur Suchabfrage sondern die Meta Tags wie hinterlegt)
<meta name=”robots” content=”nosnippet”>

Keine gecachte Version ablegen (Im Cache)
<meta name=”robots” content=”noarchive”>

Nicht den Titel und Beschreibung aus DMOZ ODP Open Directory Project anzeigen
<meta name=”robots” content=”noodp”>
Bannerexchange   Prüfen
    Überprüfen Sie Ihre Datei direkt über das Internet. Geben Sie einfach die URL der hinaufgeladenen robots.txt auf der folgenden Seite an. http://tool.motoricerca.info/robots-checker.phtml

Die offizielle Infoseite finden Sie unter www.robotstxt.org
 
 
 


PromoMasters Online Marketing Ges.m.b.H. (Sitemap)
Seit 1999 Suchmaschinenoptimierung SEO & Marketing
• Quellenweg 4 - 5081 Salzburg Anif in Österreich
• Puchsbaumgasse 1C - 1100 Wien in Österreich
+43 6246 76286-0   ✉ info@promomasters.at

©1999-2017 PromoMasters® ist eine eingetragene Marke.

 
  Social Media Box  
  FacebookGoogle My BusinessTwitterXINGLinkedInPromoMasters Suchmaschinenoptimierung BLOG Feed  
  News & Blog  
  G E S C H L O S S E N
Am 31.10. und 9.12. ist das Büro wegen Fenstertagen geschlossen
» Erreichbarkleit

Facebook Standort ändern
LÖSUNG für ein Problem das viele haben. Facebook zeigt den falschen Standort an.
» Info & Anleitung

NEU: Google Trips
Googles Reisebegleiter - der Digitale Urlaubs Assistent
» Die Reise App

Google Premium Partner
PromoMasters erhält das Premium Partner Zertifikat von Google
» Alle Zertifikate

Keywords & SEO
Warum Suchbegriffe für SEO immer noch so wichtig sind.
» Top Keywords finden
 
  Unsere Referenzen  
  » ALLE Referenzen wie win2day ‣ tipp3 ‣ Biogena ‣ AMC ‣ CXC ‣ KTM ‣ LAND-LEBEN ‣ REYERlooks ‣ Salzburger Nachrichten und viele mehr.

» Unsere Kunden über uns
 
  Info Kanäle für Sie  
  » BLOG
» Social Media
» Bewertungen
» Newsletter & Tipps
 
  PromoMasters Academy
Seminare - Kurse - Vorträge
  Webtext Workshop
   » Schreiben für Web & Social Media
  Suchmaschinenoptimierung
  » Das 1x1 des SEO
  Google Analytics
   » Erfolge messen
  Linkedin & XING
   » Business Networking
  HR Workshops
   » Digitales Employer Branding für HR-ManagerInnen in Österreich
  3 Tage Online Marketing Kurs
   » Am WIFI Salzburg mit Michael Kohlfürst