22. November 2017 
Wofür braucht eine Webseite eine robots.txt Datei?
Das ist eine der Fragen, die wir als SEO Agentur häufiger hören und welcher wir uns nun in diesem Blogbeitrag widmen. Viele Webseitenbetreiber wissen nichts von der eigenen robots.txt und wie man diese für die Suchmaschinenoptimierung einsetzt. Dabei ist die robots.txt eine der wichtigsten Dateien für die Steuerung von Robots und damit auch der Suchmaschinen-Robots. In diesem Blogbeitrag gehen wir auf die Funktionsweise und Einsatzmöglichkeiten der robots.txt ein und zeigen Ihnen, wie Sie die robots.txt gewinnbringend für Ihr Webseiten-Projekt nutzen.
Jetzt unser 190 Seiten SEO Buch herunterladen
- Hands-On Tipps für Ihr SEO
- Kostenlos & unverbindlich
- Jetzt durchstarten!
Die robots.txt: Der Kernnutzen
Im Kern steuert die robots.txt das Suchverhalten von Robots auf der Webseite und zeigt den Robots an, welche Bereiche der Webseite die Robots crawlen und analysieren können. Dabei ist die robots.txt jedoch nicht als maßgebliche Schranke für die Robots anzusehen, sondern vielmehr als Empfehlung für Bot-Steuerung. Vor diesem Hintergrund ist die robots.txt keine Schranke für Robots mit bösartigen Absichten und schützt nicht vor dem missbräuchlichen Einsatz von Bots. Bekannte Anbieter von Robots wie Google und Bing setzen auf die robots.txt und akzeptieren die Empfehlungen, die die Textdatei gibt. Somit lassen sich mit der robots.txt alle gängigen Suchmaschinen-Bots steuern.
Die robots.txt: Die Funktionsweise
Die robots.txt ist eine Textdatei, die in das Wurzelverzeichnis der Web-Dateien der Domain abgelegt wird (www.beispiel.de/robots.txt). Nur so kann die robots.txt von den gängigen Suchmaschinenbots gefunden und genutzt werden.
Über 2 Befehlsformen werden Robots adressiert und mit einem Befehl angeleitet. Dafür bedient man sich der Befehle USER AGENT für die Wahl des Bots und einer Anweisung wie DISALLOW für die Sperrung eines bestimmten Verzeichnisses einer Webseite.
In einem Beispiel für ein gängiges Content Management System wollen wir die Funktionsweise der robots.txt erläutern.
Die robots.txt einer WordPress Anwendung
Im folgenden Beispiel sehen Sie eine robots.txt wie sie beispielsweise im WordPress CMS zum Einsatz kommen kann.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Sitemap: http://www.beispiel.de/post-sitemap.xml
Sitemap: http://www.beispiel.de/page-sitemap.xml
Mit dem Befehl USER-AGENT und der Kennzeichnung * werden alle Robots adressiert, die die robots.txt berücksichtigen. Dabei erhält der Bot folgenden Befehl: Jeder Bot, der die Seite erreicht darf im WP-Content Bereich die Uploads crawlen außer im Bereich der Plug Ins. Dieses Verzeichnis ist den Bots versperrt und darf nicht gecrawlt werden. Ähnlich verhält es sich mit der readme.html Datei mit Erläuterungen zur Seite.
Darüber hinaus gibt die robots.txt noch relevante Hinweise zu den Sitemaps (Seiten & Blogbeiträge). Über die Sitemaps werden die Webseitenstrukturen an den Suchmaschinen-Bot übermittelt und der Robot hat eine bessere Möglichkeit relevante Unterseiten zu crawlen und bestenfalls zu indexieren.
robots.txt und Ihr Einsatz in der Suchmaschinenoptimierung
Die robots.txt hilft SEO´s dabei das vorhandene Crawl-Budget der Webseite besser zu nutzen und auf die Bereiche der Webseite zu verteilen. Natürlich findet der Robot relevante Inhalte auch über interne und externe Verlinkungen, jedoch ist es gewinnbringender den Suchmaschinen-Robot direkt auf die relevanten Inhalte hinzuweisen und die irrelevanten Inhalte mit dem DISALLOW Befehl auszuschließen. Mit dem Vorgehen optimiert man das vorhandene Crawl-Budget, dass der Webseite seitens der Suchmaschine gestellt wird auf relevante Inhalte und steigert somit die Effizienz in der Nutzung des Crawl-Budgets.
Fazit zur robots.txt und SEO
Im Rahmen der technischen Suchmaschinenoptimierung und der Steuerung des Crawl Budgets spielt die robots.txt eine entscheidende Rolle. Der gezielte Einsatz der robots.txt hilft den Suchmaschinen-Bots sich besser und schneller auf der Webseite zurecht zu finden und die wirklich relevanten Inhalte zu indexieren. Gerne unterstützen wir Sie als SEO Agentur bei dem gezielten Einsatz der robots.txt für eine bessere Auffindbarkeit in den Suchmaschinen. Nehmen Sie einfach Kontakt zu uns auf!
Hast du Fragen?
Als Full-Service Online-Marketing-Agentur unterstützen wir Dich gerne.
Das könnte Dich auch interessieren:
Hallo Welt!
Willkommen bei Onlinemarketing Agentur | SaphirSolution Websites. Dies ist dein erster Beitrag. Bearbeite oder lösche ihn und beginne mit dem Schreib...
Marcel Denzin
Google BigQuery verstehen: Das ultimative Werkzeug für Marketing-Analysen
Was ist Google BigQuery? Als Marketingmanager suchst du ständig nach innovativen Möglichkeiten zur Verbesserung deiner Marketingstrategien. BigQuery...
Marcel Denzin
Was ist Google Analytics 4 und warum sollten Unternehmen GA4 nutzen?
Was ist Google Analytics 4? Google Analytics 4 (GA4) ist die neueste Version von Google Analytics, die auf Machine Learning und künstlicher Inte...
Marcel Denzin
Google Search Console mit Google Analytics 4 verknüpfen
Warum soll ich die Search Console mit Google Analytics 4 verknüpfen? Die Search Console (früher: Webmaster Tools) ist ein kostenloses Tool von Googl...
Marcel Denzin