robots.txt
robots.txt är en textfil i roten av en webbplats som talar om för crawlers vilka delar av sajten de får och inte får besöka.
Det är en begäran, inget lås: väluppfostrade crawlers följer den, andra inte. Formatet standardiserades som RFC 9309 år 2022. Många sajter använder den nu för att styra vilka AI-crawlers som får läsa innehållet för träning, separat från sök.
För att hålla en sida borta från sökresultaten, använd en noindex-tagg i stället: en sida som blockeras i robots.txt kan ändå listas om andra länkar till den.
I Framer
Framer skapar robots.txt automatiskt, och du kan stänga av indexering per sida i sidans SEO-inställningar.
Så tänker Regular
Om AI-crawlers ska få träna på innehållet är kundens beslut; vi förklarar för- och nackdelarna.
Källor och läs mer
- Introduktion till robots.txt, Google Search Centraldevelopers.google.com
- RFC 9309: Robots Exclusion Protocolrfc-editor.org