robots.txt

En robots.txt-fil placeres i roden af hjemmesidens webhotel. Søgemaskiner vil benytte robots.txt til at finde ud af, hvordan den skal forholde sig til og indeksere indholdet af hjemmesiden. Man kan for eksempel bruge robots.txt til at fortælle søgemaskinerne, at man ikke ønsker, at indholdet af bestemte sider eller foldere bliver indekseret.

I SEO kan robots.txt benyttes til at styre præcis, hvilket indhold på hjemmesiden, der skal indekseres.