Hoppa till innehållet
Prova FramerAnlita en expert
SEO och AEO

robots.txt

robots.txt är en textfil i roten av en webbplats som talar om för crawlers vilka delar av sajten de får och inte får besöka.

Det är en begäran, inget lås: väluppfostrade crawlers följer den, andra inte. Formatet standardiserades som RFC 9309 år 2022. Många sajter använder den nu för att styra vilka AI-crawlers som får läsa innehållet för träning, separat från sök.

För att hålla en sida borta från sökresultaten, använd en noindex-tagg i stället: en sida som blockeras i robots.txt kan ändå listas om andra länkar till den.

I Framer

Framer skapar robots.txt automatiskt, och du kan stänga av indexering per sida i sidans SEO-inställningar.

Så tänker Regular

Om AI-crawlers ska få träna på innehållet är kundens beslut; vi förklarar för- och nackdelarna.

Källor och läs mer

  1. Introduktion till robots.txt, Google Search Centraldevelopers.google.com
  2. RFC 9309: Robots Exclusion Protocolrfc-editor.org

Relaterade termer

Svensk Framer-expert

Vill du ha hjälp med Framer?

Regular designar och bygger snabba, lätta Framer-sajter för svenska företag, särskilt hållbara och cirkulära. Få ett prisförslag direkt eller boka ett kort samtal, på svenska.

Boka 15 minFå pris direkt