Hva er "

Robots.txt

" ?

Fil som styrer hva søkemotorer har lov til å crawle.

Hva betyr

Robots.txt

i praksis?

Instruksjoner til Google om hvilke sider de ikke skal besøke.

Når bør du bry deg om dette?

Relevant når:

du vil sperre tekniske sider, testmiljøer eller duplikater.
du feilsøker indekseringsproblemer.
du vil spare "crawl budget" på store nettsteder.
du vil hindre indeksering av admin-sider.

Typiske use cases

Hindre crawling av interne system-sider.
Kontroll av staging-miljø.
Blokkering av parametere i URL-er.
Sikring av sensitivt innhold.

Vanlige feil og misforståelser

Ved et uhell blokkere hele nettstedet.
Å tro at robots.txt fjerner sider fra indeks (det gjør den ikke direkte).
Å glemme å oppdatere filen ved lansering.
Syntaksfeil som gjør filen ugyldig.

Verktøy dette ofte handler om

Google Search Console

Thank you! Your submission has been received!

Oops! Something went wrong while submitting the form.