Shopify robots.txt: anpassen, prüfen und KI-Crawler steuern

Die robots.txt sagt Suchmaschinen und anderen Bots, welche Seiten deines Shops sie abrufen dürfen. Shopify legt sie für jeden Shop automatisch an, und für die meisten Shops ist der Standard richtig. Ändern kannst du sie über die Vorlage robots.txt.liquid in deinem Theme.

Viele Anleitungen im Netz sind veraltet: Sie zeigen eine Standard-Datei mit zehn Zeilen und raten zu Regeln, die heute mehr schaden als nützen. Wir haben die aktuelle Datei im Oktober 2026 in mehreren Live-Shops geprüft und zeigen hier, was drinsteht und wann sich eine Änderung lohnt.

Was die robots.txt in Shopify macht

Die robots.txt liegt im Hauptverzeichnis deiner Domain und sagt Crawlern, welche Pfade sie abrufen dürfen. Sie besteht aus Gruppen: Jede beginnt mit einem User-agent, danach folgen Allow- und Disallow-Regeln, optional ein Verweis auf die Sitemap. Disallow: /collections/*sort_by* sperrt zum Beispiel alle sortierten Kollektionsseiten, weil der Stern für beliebige Zeichen steht.

Bei Shopify kannst du die Datei nicht direkt hochladen oder per FTP bearbeiten. Shopify erzeugt sie automatisch und pflegt die Standardregeln laufend weiter. Eigene Regeln ergänzt du über die Theme-Vorlage robots.txt.liquid. Das geht seit Juni 2021 in jedem Tarif, Shopify Plus ist dafür nicht nötig.

Crawling oder Indexierung: der Unterschied, der am häufigsten falsch läuft

Ein Disallow verhindert den Abruf, nicht die Indexierung. Externe Links reichen, damit Google eine gesperrte URL ohne Snippet in den Index aufnimmt. Umgekehrt bleibt ein noindex auf einer gesperrten URL wirkungslos, weil Google die Seite nie abruft und die Anweisung nie sieht.

Die Standard-robots.txt von Shopify, erklärt

Shopify passt die Datei laufend an, die Version in den meisten Anleitungen ist deshalb Jahre alt. Wir haben im Oktober 2026 die Dateien mehrerer Shops verglichen, unter anderem von Oatsome, NIKIN, SNOCKS und Gymshark. Ohne eigene Anpassung sind sie fast identisch: rund 85 Regeln in zwei Gruppen.

Gruppe 1: alle Bots

Die erste Gruppe gilt für User-agent: *, beginnt mit Allow: / und listet danach die Ausnahmen.

Fast jede Regel steht zweimal da, einmal mit vorangestelltem /*/, etwa Disallow: /*/cart/. So greifen die Regeln auch für Sprach- und Länderversionen wie /en/cart/ oder /at/cart/.

Gruppe 2: der Werbe-Bot von Google

Die zweite Gruppe gilt nur für adsbot-google. Der AdsBot ignoriert die *-Gruppe und folgt nur Regeln, die ihn namentlich ansprechen, deshalb wiederholt Shopify die wichtigsten Sperren für ihn.

Was nicht mehr gesperrt ist

Drei Punkte stehen in fast jeder Anleitung, stimmen aber nicht mehr:

1. Die interne Suche (/search) ist frei. Shopify liefert Suchseiten stattdessen mit X-Robots-Tag: noindex, nofollow aus: Google darf sie crawlen, indexiert sie aber nicht. Das ist sauberer als ein Disallow und an Live-Shops überprüft.
2. Die Rechtstexte unter /policies/ sind frei. Datenschutz, AGB und Widerruf darf Google abrufen.
3. Einzelne Filter sind frei. Die Regel *filter*&*filter* greift erst ab zwei Filtern. Eine Seite wie /collections/shirts?filter.v.option.farbe=Blau darf Google abrufen, Shopify setzt dort einen Canonical auf die ungefilterte Kollektion.

Der Kopfbereich: Hinweise für KI-Agenten

Seit 2025 steht über den Regeln ein Kommentarblock. Suchmaschinen ignorieren ihn, er richtet sich an KI-Agenten, die im Auftrag von Nutzern einkaufen.

Wir haben im Oktober 2026 zwei Versionen gefunden:

• Ältere Version: „Checkouts are for humans.“ Automatische Kauf-Agenten ohne letzte Prüfung durch einen Menschen sind nicht erlaubt.
• Neuere Version: Verweise auf eine Datei agents.md und auf Schnittstellen nach dem Standard UCP (Universal Commerce Protocol). Dort steht, wie Agenten Produkte finden, Warenkörbe füllen und den Kauf vorbereiten, bezahlen dürfen sie nur mit Freigabe des Käufers.

Das ist keine Sperre: Die Hinweise regeln, wie Agenten einkaufen sollen, Lesen und Empfehlen bleibt erlaubt. Mehr dazu im Artikel Shopify Agentic Storefront.

Musst du deine robots.txt überhaupt ändern?

Für die meisten Shops nicht. Der Standard sperrt die richtigen Bereiche, und Shopify pflegt ihn für dich weiter.

Eine eigene Vorlage lohnt sich, wenn:

• eine Filter-App eigene Parameter erzeugt, die Google massenhaft abruft
• du eine eigene Suchseite gebaut hast, etwa unter /pages/suche
• du mehrere Domains pro Land nutzt und je Domain andere Regeln brauchst
• du bestimmte Bots aussperren willst, etwa aggressive Scraper oder KI-Trainings-Crawler
• du eine zusätzliche Sitemap einbinden willst, etwa von einer App

Der kurze Check zeigt dir, ob das auf dich zutrifft.

Schritt für Schritt: robots.txt in Shopify bearbeiten

1. Sichere die aktuelle Ausgabe von deinshop.de/robots.txt als Textdatei.
2. Geh im Shopify-Admin auf Onlineshop → Themes.
3. Klick beim veröffentlichten Theme auf die drei Punkte und dann auf Code bearbeiten.
4. Klick im Ordner templates auf Neue Vorlage hinzufügen.
5. Wähle als Typ robots.txt und klick auf Vorlage erstellen.
6. Shopify legt robots.txt.liquid mit dem Standard-Code an.
7. Füge deine Regeln ein (Vorlagen dazu im nächsten Abschnitt) und speichere.
8. Vergleiche die neue Ausgabe mit deiner Sicherung.

Der Standard-Code in der Vorlage sieht so aus:

{% for group in robots.default_groups %}
  {{- group.user_agent }}

  {%- for rule in group.rules -%}
    {{ rule }}
  {%- endfor -%}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

Diese Schleife gibt die Standardregeln von Shopify aus. Lass sie stehen und ergänze nur deine eigenen Regeln, dann bekommst du künftige Änderungen von Shopify automatisch mit.

Wichtig beim Theme-Wechsel

Die Vorlage gehört zum Theme, nicht zum Shop, und es zählt nur die Datei im veröffentlichten Theme. Legst du sie in einer Kopie an, passiert im Live-Shop nichts. Wechselst du später das Theme, ist deine Vorlage dort nicht dabei, prüf deshalb nach jedem Theme-Wechsel deine robots.txt.

Zurück zum Standard

Lösch die Datei robots.txt.liquid im Code-Editor, dann nutzt Shopify sofort wieder die automatische Version.

Vorlagen zum Kopieren

Alle Vorlagen bauen auf der Standard-Schleife auf und ersetzen den Inhalt deiner robots.txt.liquid. Willst du mehrere kombinieren, setz die Zeilen in denselben Block.

1. Eigene Regel für alle Bots hinzufügen

Das Grundmuster, hier am Beispiel einer eigenen Suchseite unter /pages/suche:

{% for group in robots.default_groups %}
  {{- group.user_agent }}

  {%- for rule in group.rules -%}
    {{ rule }}
  {%- endfor -%}

  {%- if group.user_agent.value == '*' -%}
    {{ 'Disallow: /pages/suche' }}
  {%- endif -%}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

Wann sinnvoll: wenn eine Suchseite oder ein Bereich nicht zu Shopify gehört und darum nicht im Standard steht. Risiko: gering, solange der Pfad genau stimmt und darunter nichts liegt, das ranken soll.

2. Parameter einer Filter-App sperren

Manche Filter-Apps nutzen eigene Parameter statt filter., dann greift die Standardregel nicht. Ersetze pf_ durch den Parameter deiner App:

  {%- if group.user_agent.value == '*' -%}
    {{ 'Disallow: /collections/*?*pf_*' }}
    {{ 'Disallow: /*/collections/*?*pf_*' }}
  {%- endif -%}

Wann sinnvoll: wenn die Search Console tausende Filter-URLs als „gecrawlt, nicht indexiert“ meldet. Risiko: mittel, falls deine App wichtige Inhalte über dieselben Parameter nachlädt.

3. Eine Standard-Regel entfernen

Beispiel: Google soll Kollektionen mit Tag-Filter (+) wieder abrufen. Die Bedingung überspringt die passende Regel:

{% for group in robots.default_groups %}
  {{- group.user_agent }}

  {%- for rule in group.rules -%}
    {%- unless rule.directive == 'Disallow' and rule.value == '/collections/*+*' -%}
      {{ rule }}
    {%- endunless -%}
  {%- endfor -%}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

Wann sinnvoll: selten und nur mit konkretem Grund. Risiko: hoch, weil diese Seiten Google mit Doppelungen fluten können.

4. Einen Bot komplett sperren

Regeln für einzelne Bots stehen als normaler Text unter der Standard-Schleife:

{% for group in robots.default_groups %}
  {{- group.user_agent }}

  {%- for rule in group.rules -%}
    {{ rule }}
  {%- endfor -%}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

User-agent: Bytespider
Disallow: /

Wann sinnvoll: bei Bots, die viel Last erzeugen und dir nichts bringen. Risiko: gering. Bedenke aber, dass sich nur seriöse Bots an die robots.txt halten, Scraper ignorieren sie oft.

5. KI-Training sperren, KI-Suche erlauben

Diese Vorlage sperrt die Trainings-Crawler, während die Such-Bots für ChatGPT, Claude und Perplexity frei bleiben. Den Hintergrund erklären wir weiter unten.

{% for group in robots.default_groups %}
  {{- group.user_agent }}

  {%- for rule in group.rules -%}
    {{ rule }}
  {%- endfor -%}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Wann sinnvoll: wenn du nicht willst, dass deine Texte und Bilder in KI-Modelle einfließen. Risiko: gering für Google. Ob deine Marke dadurch langfristig seltener in KI-Antworten vorkommt, lässt sich heute nicht sicher sagen.

6. Zusätzliche Sitemap einbinden

{% for group in robots.default_groups %}
  {{- group.user_agent }}

  {%- for rule in group.rules -%}
    {{ rule }}
  {%- endfor -%}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

Sitemap: https://deinshop.de/a/sitemap-beispiel.xml

Wann sinnvoll: wenn eine App eine eigene Sitemap erzeugt, etwa für einen Händler-Finder. Risiko: gering, solange die Adresse erreichbar ist.

7. Regeln nur für eine Domain (Shopify Markets)

Nutzt du für jedes Land eine eigene Domain, kannst du Regeln pro Domain setzen, etwa damit auf der Schweizer Domain keine Seiten unter /at/ gecrawlt werden.

  {%- if group.user_agent.value == '*' and request.host == 'deinshop.ch' -%}
    {{ 'Disallow: /at/' }}
  {%- endif -%}

Wann sinnvoll: nur bei mehreren Domains oder Subdomains pro Markt, nicht bei Unterordnern wie /en/. Risiko: mittel, weil eine falsche Domain im Code den falschen Markt sperrt.

Filter, Sortierung und Suche: was du sperren solltest

Gefilterte Kollektionen sind das größte Crawling-Thema in Shopify. Jeder Filter erzeugt eine eigene URL, bei 10 Farben, 8 Größen und 5 Marken schnell tausende Kombinationen. Das kostet Crawl-Budget, das deinen Produktseiten fehlt.

So geht Shopify im Standard damit um:

Die Filter von Shopify (App „Search & Discovery“) nutzen Parameter mit filter.v. und filter.p., die der Standard abdeckt. Andere Filter-Apps arbeiten oft mit eigenen Parametern, welche das sind, zeigt die URL nach einem Filterklick.

Wenn eine Filterseite ranken soll

Manche Filterkombinationen sind echte Suchbegriffe, zum Beispiel „Herren Laufschuhe schwarz“. Eine Filter-URL ist dafür die falsche Lösung, weil sie keinen eigenen Titel, keinen eigenen Text und einen Canonical auf die Hauptkollektion hat. Leg stattdessen eine eigene Kollektion an, die ranken kann. Wie du solche Chancen findest, steht in unserem Shopify SEO-Audit.

KI-Crawler: Was Shopify erlaubt und was du entscheiden solltest

Shopify sperrt im Standard keinen KI-Crawler, das zeigen alle geprüften Shops ohne eigene Vorlage. Die Datei enthält nur die Gruppen für alle Bots und für den AdsBot. Berichte, nach denen Shopify ChatGPT blockiert, verwechseln die Hinweise für Kauf-Agenten mit einer Sperre.

Wenn KI-Bots deinen Shop nicht sehen, liegt es meist an einer eigenen Vorlage, einer App oder einer Einstellung beim Hosting-Anbieter einer eigenen Domain.

Drei Arten von KI-Bots

Die großen Anbieter trennen Training, Suche und Nutzer-Abrufe in eigene User-Agents. Du kannst also das Training sperren und trotzdem in KI-Antworten auftauchen.

Sperrst du die Such-Bots, verschwindet dein Shop aus den Antworten und Quellenlinks. Die Nutzer-Abrufe in der dritten Spalte folgen der robots.txt laut OpenAI und Perplexity oft nicht, weil ein Mensch sie auslöst.

Google-Extended steuert nur die Nutzung für Gemini-Modelle. Auf Rankings in der Google-Suche und in den AI Overviews hat er keinen Einfluss.

Unsere Empfehlung

Lass die Such-Bots immer zu: OAI-SearchBot, Claude-SearchBot und PerplexityBot bringen Sichtbarkeit und Besucher. Im Standard sind sie erlaubt, prüf nur, dass keine App und keine alte Vorlage sie sperrt.

Beim Training gibt es kein Richtig oder Falsch. Wer eigene Fotos und aufwendige Texte schützen will, sperrt die Trainings-Bots mit Vorlage 5. Wer möglichst oft von KI genannt werden will, lässt sie zu. Bots, die nur Last erzeugen, sperrst du mit Vorlage 4 aus.

Mehr zur Sichtbarkeit in ChatGPT & Co. liest du im Artikel GEO vs. SEO.

robots.txt und llms.txt

Die llms.txt regelt keinen Zugang, sie fasst Inhalte und wichtige Seiten für LLMs zusammen. Sie ergänzt die robots.txt, ersetzt sie aber nicht. Dass große KI-Anbieter sie auswerten, ist bisher nicht belegt.

Shopify Markets und mehrsprachige Shops

Sprachen und Länder in Unterordnern (deinshop.de/en/, deinshop.de/at/): Hier musst du nichts tun, die Standardregeln mit /*/ gelten für alle Unterordner mit. Sperr auf keinen Fall /en/ aus Sorge vor Duplicate Content, das regelt hreflang, das Shopify automatisch ausgibt.

Eigene Domains pro Land (deinshop.de, deinshop.ch): Jede Domain liefert ihre eigene robots.txt aus. Brauchst du je Domain andere Regeln, nutze Vorlage 7.

Sitemap zeigt auf eine andere Domain: Steht in der robots.txt der .de-Domain eine Sitemap auf der .com-Domain, ist das kein Fehler. Shopify verweist immer auf die Sitemap der Primärdomain.

Search-Console-Meldungen verstehen und beheben

Zwei Meldungen unter Indexierung → Seiten hängen mit der robots.txt zusammen. Sie wirken alarmierend, sind bei Shopify aber meist harmlos.

„Durch robots.txt-Datei blockiert“

Entscheidend ist, welche URLs in der Beispielliste stehen.

• Warenkorb, Konto, Checkout, sortierte oder mehrfach gefilterte Kollektionen: alles in Ordnung, diese Seiten sind mit Absicht gesperrt.
• Produkte, Kollektionen, Blogartikel oder Seiten: hier stimmt etwas nicht. Prüf deine robots.txt.liquid und installierte SEO-Apps und teste die URL mit der URL-Prüfung.

„Indexiert, obwohl durch robots.txt-Datei blockiert“

Google hat gesperrte URLs über Links gefunden und ohne Inhalt indexiert. Bei Shopify sind das meist:

• /cart oder /checkouts/…, verlinkt aus E-Mails, Social Media oder Preisvergleichen
• /services/login_with_shop/…, ein technischer Login-Link
• alte Tag-URLs mit +

Was zu tun ist: meist nichts, denn diese Seiten bekommen keine Klicks und schaden deinem Ranking nicht. Hebe die Sperre nicht auf, sondern prüf lieber, ob dein Theme solche Links an crawlbaren Stellen setzt. Taucht hier ein Produkt oder eine Kollektion auf, gilt dasselbe wie oben: Regel finden und entfernen.

Der robots.txt-Bericht

Unter Einstellungen → robots.txt zeigt die Search Console, wann Google deine Datei zuletzt abgerufen hat und ob es Fehler gab. Nach einer Änderung forderst du hier einen neuen Abruf an. Den alten robots.txt-Tester gibt es seit 2023 nicht mehr.

Häufige Fehler aus der Praxis

Nach einer Migration von WooCommerce, Magento oder Shopware lohnt sich ein Blick in die robots.txt besonders. Mehr dazu im Artikel WooCommerce zu Shopify: 301-Weiterleitungen.

Testen und überwachen

Nach jeder Änderung:

1. Ausgabe gegen die Sicherung diffen. Fehlen Standard-Regeln, ist die Schleife beschädigt.
2. URL-Prüfung in der Search Console für je eine Produktseite, Kollektion und einen Blogartikel. Alle müssen „Crawling zulässig“ zeigen.
3. Neuen Abruf anfordern im robots.txt-Bericht.
4. Nach zwei Wochen unter Indexierung → Seiten auf unerwartete Verschiebungen prüfen.

Danach reicht ein Blick einmal im Quartal und nach jedem Theme-Wechsel.

Häufige Fragen

Quellen

• Shopify Dev: Customize robots.txt, abgerufen am 31. Oktober 2026
• Shopify Dev: robots.txt.liquid Template, abgerufen am 31. Oktober 2026
• Google Search Central: Einführung in robots.txt, abgerufen am 31. Oktober 2026
• Google Search Central: robots.txt-Bericht in der Search Console, abgerufen am 31. Oktober 2026
• Google: Übersicht der Google-Crawler, abgerufen am 31. Oktober 2026
• OpenAI: Overview of OpenAI Crawlers, abgerufen am 31. Oktober 2026
• Anthropic: Does Anthropic crawl data from the web?, abgerufen am 31. Oktober 2026
• Perplexity: Perplexity Crawlers, abgerufen am 31. Oktober 2026
• Eigene Prüfung der robots.txt von oatsome.de, nikin.ch, snocks.de, gymshark.com und purelei.com am 31. Oktober 2026