Mit den Robots-Tags kann jeder Webseitenbetreiber seine eigene kleine Anleitung schreiben. Diese sind nicht etwa für Kinder über sechs Jahren, sondern für Suchmaschinen. Crawler, Spider oder eben Roboter, wie der Name selbst sagt.

Wie auch die anderen Meta-Elemente wird dieser Befehl im <head> des HTML-Codes eingegeben. Anders als im Titel oder der Description werden hier allerdings Aufgaben oder Verbote ausgesprochen.

Sobald eine Webseite steht, wird diese von den Suchmaschinenspidern gecrawlt. Diese lesen im Code, was sie machen dürfen oder eben nicht. Hierzu gibt es verschiedene Befehle, mit denen der Webseitenbetreiber die Spider durch die Seiten lenkt.

Index, Follow oder keins von beidem?

  • index: die Seite wird in die SERPs angezeigt und damit indexiert
  • noindex: im Gegensatz dazu wird die Seite mit diesem Befehl nicht indexiert und auch nicht in den SERPs gezeigt.
    Das bietet sich bei speziellen Seiten wie internen Suchergebnisseiten, urhebergeschützten Inhalten oder doppeltem Content an
  • follow: mit dieser Erlaubnis darf die Spider den Links folgen
  • nofollow: hierbei folgt die Spider weder den internen noch den externen Links auf der Seite, sie sind für ihn quasi nicht da. Dadurch haben allerdings auch die Ankertexte und der Linkjuice keinerlei Einfluss auf das Ranking.

Wird keine Angabe zu diesen Befehlen gemacht, gilt für die Spider, dass sie die Seite indexieren und allen Links folgen darf.

Soll sie hingegen nur manchen Links nicht folgen, wird die Seite trotzdem auf „follow“ gesetzt. Anschließend werden die einzelnen Links mit dem rel=“nofollow“ versehen.

Diese vier Befehle können beliebig zusammengefügt werden, je nachdem ob beide, kein oder nur eine Option gewünscht ist.

Noch mehr Robots Tag

Nachdem wir nun die zwei oder auch vier wichtigsten aufgezählt haben, bleiben uns immer noch weitere. Denn wir können den Suchmaschinenspidern noch viel mehr sagen.

  • all: Dieser Befehl entspricht index und follow
  • keine Angabe: Machen wir keinerlei Angaben werden die Seiten indexiert und die Suchmaschinenspider kann ihnen folgen:
    <meta name=“robots“ content=“all“/>
  • noarchive: Dadurch geben wir den Befehl, dass eine entsprechende Seite nicht gespeichert und im „Cache“ in den Suchergebnissen angezeigt werden darf.
  • noimageindex: Die Bilder werden nicht durch die Suchmaschinenspider indexiert, nur der Text.
  • none: Im Gegensatz zu all oder als Pendant dazu entspricht dieser Befehl noindex und nofollow
  • noodp: Suchmaschinenspider greifen nicht auf Daten aus dem Open Directory Projekt (odp) zu. Dadurch können eigene Daten im Meta-Title und der Meta Description hinterlegt werden.
  • nosnippet: Es wird kein Auszug aus dem Text in den Suchergebnissen dargestellt.
  • notranslate: Google wird hierdurch eine Übersetzung mit Google Translate verboten.
  • noydir: Mit diesem Befehl wird die Beschreibung von Yahoo nicht verwendet.
  • unvailable_after: [date]: Mit diesem Befehl sagen wir der Suchmaschinenspider ab welchem Zeitraum sie die Seite nicht mehr crawlen und indexieren darf. Die Angabe erfolgt in Datum und Uhrzeit.

Nachdem wir nun die verschiedenen Befehle geklärt haben, sollten wir uns um den Einbau dieser kümmern. Die Seite SELFHTML-Wiki hat hierzu die genaue Formulierung der Robots Tags als Code dargestellt.

Wie reagieren Suchmaschinen-Spider?

Bevor wir die Befehle allerdings in den html-Code schreiben, müssen wir eine Reihenfolge festlegen. Denn Suchmaschinenspider picken sich das Erste heraus, was auf sie zutrifft. Geben wir beispielsweise an alle Robots Tag heraus und erst dann gezielt an ein paar Suchmaschinen andere Befehle, werden diese übergangen. Demnach müssen wir erst gezielt manche Suchmaschinen ansprechen und am Ende geben wir die Befehle für alle raus.