Die robots.txt ist eine kleine Textdatei mit großer Wirkung. Sie liegt im Root-Verzeichnis deiner Website und gibt Suchmaschinen-Crawlern klare Anweisungen, welche Bereiche sie durchsuchen dürfen und welche nicht. Damit steuert sie, wie Googlebot, Bingbot und andere Bots deine Website crawlen.
Aus SEO-Sicht ist die robots.txt ein zentrales Werkzeug, um das Crawl-Budget gezielt auf wichtige Seiten zu lenken, doppelte Inhalte zu vermeiden und sensible Bereiche von Suchmaschinen fernzuhalten. Gleichzeitig kann eine fehlerhafte robots.txt dafür sorgen, dass ganze Verzeichnisse aus dem Index verschwinden oder der Bot wichtige Seiten nicht mehr erreicht. Deshalb gehört sie zu den Grundlagen jeder technischen SEO-Strategie.
Inhaltsverzeichnis
- Was ist eine robots.txt Datei?
- Was regelt die robots.txt – und was nicht?
- Warum ist die robots.txt aus SEO-Sicht so bedeutend?
- Welche Direktiven gibt es in der robots.txt und wie funktionieren sie?
- Typische Anwendungsfälle in der Praxis
- Was macht die robots.txt nicht?
- Wie sieht eine gute robots.txt aus?
- Typische Fehler in der robots.txt
- robots.txt gezielt zur Steuerung des Crawl-Budgets einsetzen
- Typische Unterschiede bei CMS- und Shopsystemen
- Tools, um deine robots.txt zu prüfen und zu optimieren
- Wann solltest du die robots.txt eher nicht nutzen?
- Erweiterte Steuerungsmöglichkeiten durch robots.txt
- Häufige Fehlerquellen bei der Verwendung von robots.txt
- Überwachung und Pflege der robots.txt
- Zusammenfassung und Bewertung
Was ist eine robots.txt Datei?
Die robots.txt ist eine einfache Textdatei (ASCII), die immer unter https://www.deine-domain.de/robots.txt liegt. Sie ist weder HTML noch XML, sondern folgt dem sogenannten „Robots Exclusion Standard“ aus den 1990er Jahren. Ihre Syntax ist bewusst schlicht – was sie anfällig für Fehler macht.
Die Datei teilt Webcrawlern (User-agents) mit, welche Verzeichnisse oder Dateien sie crawlen dürfen und welche nicht. Findet ein Bot beim Aufruf deiner Domain keine robots.txt, geht er davon aus, dass er die komplette Website crawlen darf. Liegt dort eine Datei, wertet er deren Regeln aus und passt sein Verhalten an.
Damit ist die robots.txt der erste Kontrollpunkt, bevor Suchmaschinen deine Inhalte überhaupt laden. Sie entscheidet nicht über die Indexierung selbst, sondern nur darüber, ob ein Bot bestimmte Seiten überhaupt abrufen darf.
Was regelt die robots.txt – und was nicht?
Ein häufiger Irrglaube unter Website-Betreibern ist, dass die robots.txt Indexierungen verhindern könne. Das ist nicht korrekt. Die Datei regelt ausschließlich, ob ein Bot bestimmte Seiten crawlen darf – also ob er sie abrufen und analysieren darf. Ob eine Seite tatsächlich in den Suchindex aufgenommen wird, ist eine andere Frage. Denn Google kann eine Seite theoretisch auch indexieren, ohne sie gecrawlt zu haben, etwa wenn genügend externe Links darauf verweisen.
Ein klassisches Beispiel:
- Du setzt in der robots.txt ein
Disallow: /geheim/.- Google darf den Inhalt von
/geheim/nicht crawlen.- Falls jedoch von anderen Seiten zahlreiche Links auf
/geheim/zeigen, kann Google trotzdem einen Indexeintrag für diese URL anlegen – nur ohne Inhaltssnippet, da die Seite nicht gecrawlt wurde.
Für eine tatsächliche Deindexierung ist die robots.txt also nicht geeignet. Dafür braucht es Mechanismen wie den Meta-Tag noindex oder den HTTP-Header X-Robots-Tag. Ein korrekt platzierter noindex wird vom Crawler nur gesehen, wenn er die Seite auch crawlen darf. Ist das Crawling via robots.txt blockiert, kann Google diesen Meta-Tag gar nicht erst auslesen.
Das bedeutet in der Praxis: Die robots.txt steuert ausschließlich den Zugriff der Crawler auf bestimmte Inhalte, nicht jedoch die Indexierung an sich.
Warum ist die robots.txt aus SEO-Sicht so bedeutend?
Für SEO-Experten ist die robots.txt ein strategisches Werkzeug, das gezielt eingesetzt wird, um Suchmaschinen-Crawler zu lenken. Besonders bei großen Websites mit tausenden von Seiten ist es wichtig, dass die Crawler ihre Ressourcen auf die wirklich relevanten Inhalte konzentrieren können. Jeder Bot hat ein sogenanntes „Crawl Budget“: Google entscheidet etwa, wie viele Seiten einer Domain in einem bestimmten Zeitraum gecrawlt werden. Wenn dieses Budget auf unwichtige Seiten wie Filter- oder Sortierungs-URLs verbraucht wird, bleiben möglicherweise essentielle Produkt- oder Content-Seiten auf der Strecke.
Eine gut gepflegte robots.txt hilft dabei:
- Crawling-Ressourcen auf strategisch wichtige Bereiche zu lenken.
- Duplicate Content zu reduzieren, indem z. B. Parameter-URLs ausgeschlossen werden.
- Performance zu verbessern, da Bots keine Ressourcen für irrelevante Seiten verschwenden.
- Sensible Bereiche (z. B. Admin-Logins, interne API-Endpunkte) von Suchmaschinen fernzuhalten.
Gleichzeitig ist die robots.txt auch ein mächtiges Tool, das mit höchster Sorgfalt behandelt werden muss. Schon ein einziger Eintrag wie Disallow: / führt dazu, dass der gesamte Inhalt einer Website vom Crawling ausgeschlossen wird – mit drastischen Folgen für die Sichtbarkeit in Suchmaschinen.
Welche Direktiven gibt es in der robots.txt und wie funktionieren sie?
Die robots.txt kennt im Kern nur wenige Direktiven, was sie zugleich einfach und gefährlich macht. Es gibt keine „if“-Logik, keine Wildcards in der Form von Regex und keine Bedingungen außer der rudimentären Unterstützung von * und $.
User-agent
Dies legt fest, für welchen Crawler (Bot) die folgenden Anweisungen gelten sollen. * steht hierbei für alle Bots.
Beispiele:
User-agent: *
Disallow: /private/
Hier gilt die Anweisung für jeden Bot.
User-agent: Googlebot
Disallow: /intern/
Hier gilt die Anweisung nur für den Googlebot.
Disallow
Mit Disallow verbietest du einem Crawler, bestimmte Verzeichnisse oder Dateien zu crawlen.
Disallow: /admin/
Disallow: /checkout.html
Damit darf der Bot diese Pfade nicht abrufen.
Allow
Das Gegenstück dazu ist Allow, das z. B. in Google’s Interpretation erlaubt, innerhalb eines ansonsten blockierten Verzeichnisses Ausnahmen zu definieren.
Disallow: /private/
Allow: /private/public-info.html
Damit wird /private/ blockiert, aber public-info.html explizit erlaubt.
Sitemap
Die Sitemap-Direktive ist eine Empfehlung an Bots, wo sie deine XML-Sitemap finden können.
Sitemap: https://www.deineseite.de/sitemap.xml
Das ist besonders hilfreich, wenn du mehrere Sitemaps hast oder Google die Sitemaps nicht automatisch in der Search Console hinterlegt findet.
Typische Anwendungsfälle in der Praxis
Die robots.txt wird oft genutzt, um Standardprobleme in großen oder komplexen Websites zu lösen. Für SEOs ist sie damit ein Werkzeug, um Struktur und Prioritäten gegenüber Suchmaschinen zu signalisieren.
Einige gängige Anwendungsbeispiele sind:
- Interne Bereiche schützen
Admin- oder Login-Pfade sollen nicht gecrawlt werden, z. B.: makefileKopierenBearbeitenUser-agent: * Disallow: /wp-admin/ - Duplicate Content und Parameter-URLs ausschließen
Filter- oder Sortierungsparameter in Shops können unzählige URL-Varianten erzeugen. Diese lassen sich für Bots sperren: makefileKopierenBearbeitenDisallow: /*?sort= Disallow: /*&filter= - Temporäre Bereiche ausschließen
Entwicklungs- oder Test-Ordner kannst du ebenfalls sperren: bashKopierenBearbeitenDisallow: /dev/ Disallow: /staging/ - Nur einen Bot steuern
Willst du z. B. den Bingbot ausschließen, aber Google erlauben: makefileKopierenBearbeitenUser-agent: Bingbot Disallow: /
Solche Regeln helfen, das Crawl-Budget effizienter zu nutzen und irrelevante oder doppelte Seiten auszusparen.
Was macht die robots.txt nicht?
Trotz dieser Möglichkeiten ist wichtig zu verstehen, was die robots.txt nicht leisten kann:
- Sie verhindert keine Indexierung, wenn externe Links auf blockierte Seiten zeigen.
- Sie bietet keinen Schutz vor unbefugten Zugriffen – wer die URL kennt, kann sie dennoch direkt im Browser aufrufen.
- Sie ist nicht rechtlich bindend, Bots von Blackhat- oder Scraper-Diensten ignorieren sie oft komplett.
Die robots.txt ist also eine Art höfliche Einladung an Bots, sich an deine Spielregeln zu halten – aber kein technisches Schloss.
Wie sieht eine gute robots.txt aus?
Eine durchdachte robots.txt ist klar strukturiert, einfach lesbar und enthält nur das Nötigste. Sie sollte so formuliert sein, dass sie im Fehlerfall eher zu wenig sperrt als zu viel.
Ein kleines Beispiel:
User-agent: *
Disallow:
Sitemap: https://www.deineseite.de/sitemap.xml
Damit erlaubst du allen Bots den uneingeschränkten Zugriff und gibst ihnen nur den Hinweis auf die Sitemap.
Ein restriktives Beispiel, das bestimmte Bereiche blockt:
User-agent: *
Disallow: /checkout/
Disallow: /cart/
Disallow: /filter/
Sitemap: https://www.deineseite.de/sitemap.xml
Oder eine Variante für Projekte mit sehr vielen Parametern:
User-agent: *
Disallow: /*?*
Allow: /*.js$
Allow: /*.css$
Sitemap: https://www.deineseite.de/sitemap.xml
Hier wird alles mit Parametern blockiert, statische Ressourcen aber explizit erlaubt. Das ist oft bei Shops nötig, damit Google CSS/JS für die Seitenrendering-Bewertung laden kann.
Typische Fehler in der robots.txt
Gerade weil die robots.txt so simpel ist, schleichen sich leicht gravierende Fehler ein. Häufige Probleme sind:
- Globale Sperre durch
Disallow: /, die sämtliche Inhalte für alle Bots sperrt. - Syntaxfehler, z. B. Tippfehler in Direktiven oder fehlende Doppelpunkte.
- Crawling von CSS/JS blockieren, was Google daran hindern kann, Seiten korrekt zu rendern.
- Noindex in robots.txt – eine Anweisung, die schlicht ignoriert wird, da sie nicht standardkonform ist.
SEOs prüfen deshalb die robots.txt regelmäßig mit Tools, etwa dem robots.txt-Tester in der Google Search Console.
robots.txt gezielt zur Steuerung des Crawl-Budgets einsetzen
Gerade bei großen Websites mit tausenden oder Millionen von URLs ist die Steuerung des Crawl-Budgets einer der wichtigsten Gründe, warum die robots.txt strategisch genutzt wird. Google und andere Suchmaschinen entscheiden selbst, wie viele Seiten sie von einer Domain in einem bestimmten Zeitraum crawlen. Dieses „Crawl-Budget“ ist begrenzt und sollte möglichst effizient auf relevante Seiten gelenkt werden.
Typische Szenarien
Shops mit Filter- und Sortierparametern
Kategorieseiten können durch Kombinationen von Sortierung, Filtern und Paginations-Parametern Millionen unnötiger URLs erzeugen.
Beispiel:
Disallow: /*?sort=
Disallow: /*&filter=
Disallow: /*?page=
Verzeichnisse mit Duplicate Content
Bei CMS wie WordPress oder TYPO3 entstehen oft Archiv-, Tag- oder Autoren-Listen, die keinen eigenständigen SEO-Wert haben:
Disallow: /author/ Disallow: /tag/ Disallow: /archive/
Print-, Staging- oder Test-Versionen ausschließen
Viele Projekte haben Druckversionen, Beta-Bereiche oder Staging-Umgebungen:
Disallow: /print/ Disallow: /staging/
So sorgst du dafür, dass Suchmaschinen ihr Crawl-Budget auf Produkt-, Kategorieseiten und wichtige Landingpages konzentrieren.
Typische Unterschiede bei CMS- und Shopsystemen
Je nach System gibt es Besonderheiten, die du in der robots.txt berücksichtigen solltest.
WordPress
Hier entstehen oft automatisch Archive, Kommentar-Feeds oder Paginierungen. Häufig blockiert:
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /?s=
Ergänzend kannst du /feed/, /comments/ oder Parameter wie ?replytocom= ausschließen.
Magento & Shopware
Shops haben typischerweise Filter- und Sortier-Parameter. Für Magento/Shopware sieht man oft:
Disallow: /*?dir=
Disallow: /*?order=
Disallow: /*?mode=
Disallow: /*?p=
Shopify
Shopify legt keine eigene robots.txt im Dateisystem an – sie wird dynamisch generiert. Über die Shopify-Admin kannst du aber mittlerweile eigene Regeln hinzufügen.
Yoast SEO & Plugins
Achte bei WordPress darauf, dass SEO-Plugins wie Yoast oder RankMath manchmal automatisch Regeln erzeugen. Prüfe regelmäßig, ob diese noch sinnvoll sind.
Tools, um deine robots.txt zu prüfen und zu optimieren
Gerade bei umfangreichen Seiten solltest du regelmäßig kontrollieren, was du tatsächlich blockierst und ob Bots deine Regeln auch befolgen. Dafür gibt es etliche Werkzeuge:
| Tool | Was es prüft / bietet |
|---|---|
| Google Search Console | Zeigt an, was blockiert ist, testet live, ob URLs blockiert werden |
| Ahrefs Site Audit | Erkennt blockierte Seiten und warnt vor übermäßigen Sperren |
| Screaming Frog SEO Spider | Simuliert Crawls mit robots.txt-Logik und zeigt, was ausgelassen wird |
| robots.txt Checkers online | Prüfen die Syntax und geben Warnungen aus |
Besonders bei Relaunches und großen Änderungen solltest du intensiv testen, ob deine Datei wirklich das tut, was sie soll.
Wann solltest du die robots.txt eher nicht nutzen?
Die robots.txt ist kein Ersatz für saubere Informationsarchitektur oder internes SEO-Hausputz. Nutze sie nicht, um strukturelle Probleme zu kaschieren. Außerdem solltest du:
- Nicht für Deindexierung verwenden: Wenn Seiten nicht indexiert werden sollen, dann mit
noindex, nicht via robots.txt. - Keine sensiblen Daten „verstecken“: Alles, was du in der robots.txt blockierst, wird öffentlich sichtbar. Lieber über Authentifizierung schützen.
- Nicht CSS/JS blockieren, weil Google dann deine Seiten schlechter rendern kann. Achte darauf, dass Ressourcen crawlbar bleiben.
Erweiterte Steuerungsmöglichkeiten durch robots.txt
Die robots.txt-Datei bietet weit mehr als einfache Sperren. Richtig eingesetzt, ermöglicht sie eine präzise Steuerung, wie Crawler mit der Website umgehen. Dabei ist wichtig, die Datei immer im Zusammenspiel mit weiteren Steuerungsmethoden zu betrachten.
Zusammenspiel mit Meta-Robots und HTTP-Headern
Die robots.txt kontrolliert nur das Crawling, nicht die Indexierung. Um eine vollständige Steuerung zu erreichen, werden in der Regel mehrere Instrumente kombiniert:
- robots.txt – steuert, ob Bots Seiten aufrufen dürfen.
- Meta-Robots-Tag – steuert direkt auf HTML-Ebene, ob Seiten indexiert werden sollen.
- X-Robots-Tag – ermöglicht dieselben Indexierungsanweisungen für Dateien, die kein HTML enthalten (z. B. PDFs oder Bilder).
Beispiel für einen HTTP-Header:
X-Robots-Tag: noindex, nofollow
Damit wird festgelegt, dass die jeweilige Ressource nicht indexiert und ausgehende Links nicht verfolgt werden sollen.
Eine zentrale SEO-Regel lautet hier: Wird das Crawling über robots.txt blockiert, können Suchmaschinen auch keine Meta- oder HTTP-Header-Tags auslesen. Deshalb sollte die Steuerung gut abgestimmt sein.
Häufige Fehlerquellen bei der Verwendung von robots.txt
In der Praxis treten immer wieder typische Fehler auf, die erhebliche Auswirkungen auf die Sichtbarkeit einer Website haben können. Dazu zählen:
- Globale Sperren
Ein Eintrag wieDisallow: /blockiert sämtliche Inhalte und verhindert, dass Suchmaschinen die Website crawlen können. - Missverständnisse bei Wildcards
Die robots.txt unterstützt nur einfache Wildcards (* und $). Reguläre Ausdrücke funktionieren nicht, was häufig zu fehlerhaften Anweisungen führt. - Blockierung von CSS- und JavaScript-Dateien
Wenn wichtige Ressourcen gesperrt sind, können Suchmaschinen die Seiten nicht korrekt rendern, was sich negativ auf die Bewertung der Inhalte auswirkt. - Nutzung als vermeintlicher Schutz
Die robots.txt-Datei ist öffentlich einsehbar. Wer sensible Bereiche dort blockiert, macht sie für jeden sichtbar, der die Datei aufruft.
Überwachung und Pflege der robots.txt
Die robots.txt ist kein einmalig abgeschlossenes Projekt. Änderungen am CMS, an URL-Strukturen oder an Shop-Parametern können jederzeit Anpassungen erfordern. Für eine nachhaltige Pflege sind regelmäßige Kontrollen notwendig.
Empfohlene Maßnahmen:
- Regelmäßige Crawls durchführen
Tools wie Screaming Frog zeigen, welche Bereiche durch die robots.txt blockiert sind und ob wichtige Ressourcen ausgeschlossen werden. - Google Search Console nutzen
Über die Funktionen zum Testen der robots.txt lässt sich prüfen, ob einzelne URLs vom Crawling ausgeschlossen sind. - Versionierung einsetzen
Änderungen sollten dokumentiert und archiviert werden, um jederzeit nachvollziehen zu können, wann welche Regeln hinzugefügt oder entfernt wurden. - Automatisierte Tests integrieren
Bei größeren Projekten kann eine Syntaxprüfung in den Deployment-Prozess eingebunden werden, um fehlerhafte Dateien frühzeitig zu erkennen.
Zusammenfassung und Bewertung
Die robots.txt gehört zu den wichtigsten Werkzeugen im Bereich der technischen Suchmaschinenoptimierung. Sie ermöglicht, Crawling-Ressourcen gezielt auf relevante Bereiche zu lenken, doppelte Inhalte zu vermeiden und unnötigen Bot-Traffic zu reduzieren.
Für eine nachhaltige SEO-Strategie ist jedoch entscheidend, die robots.txt stets im Zusammenspiel mit einer durchdachten Seitenstruktur, internen Verlinkungen, Sitemaps sowie Meta- und HTTP-Robots-Anweisungen einzusetzen. So bleibt sichergestellt, dass Suchmaschinen die richtigen Inhalte finden, crawlen und bewerten können.
Schreibe einen Kommentar