Der Standard sperrt fünf Scraper- und Trainings-Crawler explizit und öffnet zugleich den OpenAI-Suchbot, dieselbe Trennlinie, die WSJ und Reuters im Mai gezogen haben. WSJ nimmt seine Juni-Öffnung teilweise zurück.
AI-Crawler-Radar
AI-Plattformen lesen das Web in industriellem Massstab, schicken aber kaum Besucher zurück – bei Anthropic kommen auf einen weitergeleiteten Leser rund 24'000 Crawls (99 Prozent Zero-Click). Ob eine Site das mitmacht, deklariert sie in ihrer robots.txt: Dort steht, welche AI-Crawler sie zulässt – für Training, für Suche oder gar nicht.
Der Radar verfolgt diese Deklarationen. fumu erhebt seit April 2026 alle 14 Tage die robots.txt von gut 100 Sites – Publisher mit und ohne Paywall, Plattformen, Brands und E-Commerce, Schwerpunkt Schweiz – und wertet sie gegen 20 dokumentierte AI-Crawler aus. robots.txt ist dabei Deklaration, nicht Crawl-Realität; das strukturelle Muster hinter der Bewegung beschreibt Das doppelte Unbundling.
Verlauf
Block-Anteil je Kategorie über die bisherigen Snapshots.
Daten als Tabelle
| Snapshot | Plattformen | Paywall-Publisher | Publisher (frei) | E-Commerce | Brands |
|---|---|---|---|---|---|
| 27.04.2026 | – | 57.1 % | 19.6 % | 16.3 % | 0.8 % |
| 29.04.2026 | 72.7 % | 59.3 % | 30.7 % | 0.7 % | 0.8 % |
| 04.05.2026 | 72.7 % | 59.3 % | 30.7 % | 0.7 % | 0.8 % |
| 05.05.2026 | 72.7 % | 59.3 % | 30.7 % | 0.7 % | 0.8 % |
| 11.05.2026 | 72.7 % | 60.6 % | 30.7 % | 0.7 % | 0.8 % |
| 16.05.2026 | 72.7 % | 60.6 % | 31.6 % | 0.7 % | 0.8 % |
| 25.05.2026 | 72.7 % | 62.1 % | 31.9 % | 0.7 % | 0.8 % |
| 01.06.2026 | 58.3 % | 53 % | 28.1 % | 1.4 % | 1.1 % |
| 08.06.2026 | 58.3 % | 53 % | 26 % | 1.4 % | 1.1 % |
| 15.06.2026 | 58.3 % | 53.3 % | 26 % | 1.4 % | 1.1 % |
| 22.06.2026 | 58.3 % | 53.3 % | 26 % | 1.4 % | 1.1 % |
| 29.06.2026 | 58.3 % | 52.4 % | 26 % | 1.4 % | 1.1 % |
| 06.07.2026 | 58 % | 52.4 % | 26 % | 1.4 % | 1.1 % |
| 13.07.2026 | 58 % | 53.3 % | 26 % | 1.3 % | 1.2 % |
Aktualisierungen
LinkedIn stuft den Claude-Suchbot von gesperrt auf teilweise herunter – Zitierbarkeit ja, Trainingsmaterial nein.
Heidi.News und Le Temps öffnen gezielt für OpenAIs Such- und Assistenz-Bots. Temu pendelt zurück auf selektiv.
Temu zieht seine selektiven Schranken zurück und steht durchgängig offen – E-Commerce setzt auf Reichweite, nicht auf Content-Schutz.
Zeit sperrt Googles Trainings-Crawler – eine einzelne Zelle, gezielte Ergänzung statt Strategiewechsel.
Tagesschau zieht die komplette AI-Crawler-Sperre zurück – der erste öffentlich-rechtliche Publisher im Sample, der vollständig öffnet. WSJ weitet seine Allow-Liste aus, eBay verschärft leicht.
Ältere Läufe (8)
Erstmals 20 Crawler in der Zeitreihe (u.a. Amazonbot, Mistral, Meta) – die neuen Spalten verdünnen die Block-Quoten optisch, auf dem alten Raster hat sich nichts bewegt.
Bloomberg geht den Gegenweg zu WSJ und Reuters und schliesst die letzten offenen Crawler-Lücken einzeln – die ganze explizite Bot-Reihe steht jetzt auf Sperre. CNN sperrt Claude-User nach.
Reuters folgt dem WSJ-Muster eine Woche später – Default zu, Ausnahmen für Such- und Zitier-Bots.
WSJ stellt als erstes Haus die Architektur um: weg von Sperren pro Crawler, hin zu global gesperrt mit kuratierten Ausnahmen für Suchbots.
Keine Veränderungen gegenüber dem Vor-Snapshot.
Keine Veränderungen bei erstmals stabilem Sample – robots.txt-Politik ist kein Tages-Phänomen, die 14-Tage-Kadenz hat die richtige Auflösung.
Sample auf 107 Sites erweitert und Plattformen als eigene Kategorie eingeführt – Amazon und eBay wandern dorthin. Kein Drift-Vergleich, die Basislinie entsteht.
Erst-Snapshot: 81 Sites × 14 Crawler.
Block-Anteil nach Kategorie
Anteil der Crawler-Site-Paare, die per robots.txt blockiert sind – je Site-Kategorie.
| Segment | Block-Anteil |
|---|---|
| Plattformen 15 Sites | 58 % |
| Paywall-Publisher 23 Sites | 53.3 % |
| Publisher (frei) 24 Sites | 26 % |
| E-Commerce 12 Sites | 1.3 % |
| Brands 34 Sites | 1.2 % |
Block-Anteil nach Crawler
Anteil der 108 Sites, die den jeweiligen Crawler blockieren.
| Segment | Block-Anteil |
|---|---|
| ccbot 43 von 108 Sites | 39.8 % |
| applebot_extended 42 von 108 Sites | 38.9 % |
| bytespider 42 von 108 Sites | 38.9 % |
| claudebot 40 von 108 Sites | 37 % |
| gptbot 37 von 108 Sites | 34.3 % |
| meta_external 37 von 108 Sites | 34.3 % |
| perplexitybot 37 von 108 Sites | 34.3 % |
| google_extended 33 von 108 Sites | 30.6 % |
| amazonbot 27 von 108 Sites | 25 % |
| chatgpt_user 26 von 108 Sites | 24.1 % |
| perplexity_user 25 von 108 Sites | 23.2 % |
| mistralai_user 22 von 108 Sites | 20.4 % |
| claude_searchbot 21 von 108 Sites | 19.4 % |
| claude_user 21 von 108 Sites | 19.4 % |
| duckassistbot 21 von 108 Sites | 19.4 % |
| meta_externalfetcher 21 von 108 Sites | 19.4 % |
| google_cloudvertexbot 20 von 108 Sites | 18.5 % |
| oai_searchbot 20 von 108 Sites | 18.5 % |
| google_agent 10 von 108 Sites | 9.3 % |
| mistralai_index 10 von 108 Sites | 9.3 % |
Methodik
- ERROR-Zellen (Bot-Schutz-403/Timeout) sind nicht als Blockade gewertet – eigener Datenpunkt.
- Google-Agent ignoriert robots.txt laut Anbieter – DEFAULT heisst hier nicht 'wird durchgelassen'.
- robots.txt ist Deklaration, nicht Crawl-Realität (ChatGPT-User und Perplexity binden sich nicht).
Erhebung
Alle 14 Tage ruft der Analyzer die robots.txt von gut 100 Sites ab und wertet sie gegen 20 dokumentierte AI-Crawler aus – von OpenAI, Anthropic, Google, Meta, Apple, Amazon, Perplexity, Mistral, ByteDance und DuckDuckGo. Das Sample ist kuratiert, nicht repräsentativ: Publisher mit und ohne Paywall, Plattformen, Brands und E-Commerce, Schwerpunkt Schweiz, ergänzt um Titel aus Deutschland, Österreich, UK, USA und der EU. Die Abfrage läuft mit offen deklariertem User-Agent (fumu-Crawler).
Status-Logik
Jede Zelle Site × Crawler bekommt einen von sechs Status, ausgewertet nach RFC 9309: explizit gesperrt (BLOCK), explizit erlaubt (ALLOW), teilweise gesperrt (SELECTIVE), nicht erwähnt und damit implizit erlaubt (DEFAULT), nicht erwähnt, aber von einer globalen Sperre erfasst (DEFAULT_BLOCKED) – oder robots.txt nicht abrufbar (ERROR).
Block-Anteil
Der Block-Anteil zählt BLOCK und DEFAULT_BLOCKED, geteilt durch alle Zellen der Kategorie – einschliesslich ERROR. Nicht erreichbare Sites drücken den Anteil also leicht; sie erscheinen dafür als eigener Datenpunkt, statt stillschweigend als Blockade oder Erlaubnis gewertet zu werden.
Grenzen
robots.txt ist Deklaration, nicht Crawl-Realität. ChatGPT-User bindet sich laut OpenAI-Dokumentation nicht mehr an robots.txt, Perplexity crawlt nachweislich daran vorbei, und Googles Agent ignoriert die Datei per Anbieter-Position – ein DEFAULT heisst dort nicht, dass der Crawler draussen bleibt. ERROR-Zellen stammen meist von Bot-Schutz (403/Timeout) und sind kein Policy-Signal.
Gemonitorte Sites
Das volle Sample der Erhebung, gruppiert nach Kategorie.
Plattformen (15)
- Amazon amazon.com
- Amazon DE amazon.de
- eBay ebay.com
- Instagram instagram.com
- LinkedIn linkedin.com
- Medium medium.com
- Pinterest pinterest.com
- Quora quora.com
- Reddit reddit.com
- Stack Overflow stackoverflow.com
- Substack substack.com
- TikTok tiktok.com
- Wikipedia wikipedia.org
- X x.com
- YouTube youtube.com
Paywall-Publisher (23)
- Bloomberg bloomberg.com
- Der Standard derstandard.at
- Die Presse diepresse.com
- FAZ faz.net
- FT ft.com
- Handelsblatt handelsblatt.com
- Handelszeitung handelszeitung.ch
- Heidi.News heidi.news
- Le Temps letemps.ch
- Manager Magazin manager-magazin.de
- NYT nytimes.com
- NZZ nzz.ch
- Republik republik.ch
- Spiegel spiegel.de
- Süddeutsche sueddeutsche.de
- Tages-Anzeiger tagesanzeiger.ch
- The Economist economist.com
- The Telegraph telegraph.co.uk
- The Times thetimes.co.uk
- Washington Post washingtonpost.com
- Welt welt.de
- WSJ wsj.com
- Zeit zeit.de
Publisher (frei) (24)
- 20 Minuten 20min.ch
- AP apnews.com
- BBC bbc.com
- Bild bild.de
- Blick blick.ch
- Cash cash.ch
- CNN cnn.com
- Focus focus.de
- Fox News foxnews.com
- Guardian theguardian.com
- Independent independent.co.uk
- Kurier kurier.at
- NBC News nbcnews.com
- NPR npr.org
- Profil profil.at
- Reuters reuters.com
- RTS rts.ch
- SRF srf.ch
- Stern stern.de
- T-Online t-online.de
- Tagesschau tagesschau.de
- USA Today usatoday.com
- Watson www.watson.ch
- ZDF zdf.de
E-Commerce (12)
- About You aboutyou.de
- AliExpress aliexpress.com
- Brack brack.ch
- Digitec digitec.ch
- Galaxus galaxus.ch
- Manor manor.ch
- MediaMarkt mediamarkt.de
- Microspot microspot.ch
- Migros migros.ch
- Otto otto.de
- Temu temu.com
- Zalando zalando.com
Brands (34)
- Adidas adidas.com
- Allianz allianz.com
- BMW bmw.com
- Bosch bosch.com
- Carrefour carrefour.com
- Coop coop.ch
- Deutsche Telekom telekom.com
- H&M hm.com
- Helvetia helvetia.ch
- Hilti hilti.com
- IKEA ikea.com
- Inditex inditex.com
- L'Oréal loreal.com
- Lindt lindt.com
- Lufthansa lufthansa.com
- LVMH lvmh.com
- Mercedes-Benz mercedes-benz.com
- Nestlé nestle.com
- On on.com
- Porsche porsche.com
- PostFinance postfinance.ch
- Raiffeisen raiffeisen.ch
- Rolex rolex.com
- SAP sap.com
- SBB sbb.ch
- Shell shell.com
- Siemens siemens.com
- Sunrise sunrise.ch
- Swiss swiss.com
- Swiss Life swisslife.ch
- Swisscom swisscom.ch
- UBS ubs.com
- Volkswagen volkswagen.com
- Zurich Insurance zurich.ch