Robots.txt er en fil på websitet som fortæller søgemaskinerobotterne hvilke sider der skal indekseres

Robots.txt er en tekstfil der ligger i rod biblioteket på et website.

I filen kan defineres hvilke sider det ønskes søgemaskinerne skal indeksere og om links på siden skal følges af søgemaskinerobotterne.

Robots.txt er vejledende, dvs. der er ikke garanti for at søgemaskinespidere overholder regler der er sat i robots.txt