Failas naudojamas žiniatinklio robotams nukreipti ar pasakyti, kokie puslapiai ir katalogai indeksuoti ar ne. Šis failas turi būti įtrauktas į serverio, kuriame talpinami jūsų puslapiai, šaknų katalogą. Failas turėtų būti pavadintas „ robots.txt“ ir turėtų turėti leidimus skaityti. Žemiau pateikiamas robots.txt failo pavyzdys.

 # robots.txt failas //www.computerhope.comUser-agent: * Neleisti: / katalogas1 / 
Neleisti: / katalogas2 /

Pirmiau pateiktame robots.txt pavyzdyje pirmoji eilutė yra neišvengiamas pareiškimas, kuriame aprašomas failas. Be to, vartotojo agento eilutė nurodo, kokie robotai ar robotai turėtų laikytis šio failo skyriaus. Pirmiau pateiktame pavyzdyje * žymi visus robotus. Galiausiai kitos dvi eilutės yra du katalogai, kuriuos norite, kad robotai nebūtų indeksuojami.

Jei norite leisti botui pateikti užklausą dėl visų jūsų svetainės URL, įveskite boto pavadinimą, o po to - neleisti: su tuščia reikšme, kaip parodyta toliau pateiktame pavyzdyje.

 Naudotojo agentas: Somebot *
Neleisti: 

Interneto terminai, meta žymos, robotas, SEO terminai, svetainės žemėlapis, interneto dizaino sąlygos