Plik robots.txt to standardowy plik tekstowy umieszczany w głównym katalogu (root directory) serwera każdej witryny internetowej. Jego głównym celem jest komunikacja z robotami wyszukiwarek internetowych (crawlerami, pająkami, botami), wskazując im, które części serwisu mogą być skanowane (crawled) i indeksowane, a które powinny zostać pominięte. Jest to kluczowy element protokołu wykluczeń robotów (Robots Exclusion Protocol).
Z punktu widzenia seo-link">marketing-ang-marketing/" title="marketingu" class="auto-seo-link">marketingu internetowego i SEO, plik robots.txt jest narzędziem niezbędnym do zarządzania budżetem indeksowania (crawl budget) oraz do kontroli sposobu, w jaki wyszukiwarki postrzegają i prezentują zawartość witryny. Umożliwia on blokowanie dostępu robotom do stron o niskiej wartości SEO (np. strony logowania, panele administracyjne, wyniki wyszukiwania wewnętrznego, duplikaty treści generowane automatycznie, wrażliwe pliki), co zapobiega marnowaniu zasobów serwerai budżetu indeksowania na nieistotne lub poufne strony. Prawidłowa konfiguracja pliku robots.txt pomaga również unikać problemów z duplikacją treści, co jest krytyczne dla pozycji w wynikach wyszukiwania, oraz wskazuje lokalizację mapy witryny XML (Sitemap), ułatwiając robotom odkrywanie wszystkich ważnych stron.
Należy jednak pamiętać, że dyrektywy w pliku robots.txt są jedynie sugestiami dla większości robotów wyszukiwarek (szczególnie tych renomowanych), a nie mechanizmem bezpieczeństwa. Nieblokowane strony mogą nadal być indeksowane, jeśli istnieją do nich linki zewnętrzne, a złośliwe boty mogą celowo ignorować te dyrektywy. W celu całkowitego zabezpieczenia treści przed indeksowaniem i dostępem, należy stosować mechanizmy takie jak hasła, tagi noindex w sekcji <head> strony lub uwierzytelnianie serwera.
Praktyczne zastosowanie pliku można przedstawić na przykładzie witryny e-commerce, która za pomocą dyrektyw blokuje dostęp do koszyka, strony logowania, wyników wyszukiwania wewnętrznego oraz panelu administracyjnego. W takiej konfiguracji zapis User-agent: * oznacza, że wytyczne dotyczą wszystkich robotów, natomiast komendy Disallow wskazują konkretne ścieżki (np. /koszyk/, /admin/), które mają być pominięte. Dodatkowo, plik ten zawiera często bezpośredni odnośnik do mapy witryny za pomocą komendy Sitemap, co przyspiesza odkrywanie kluczowych podstron przez roboty.
Do powiązanych terminów i pojęć z tego zakresu należą: Robots Exclusion Protocol (Protokół wykluczeń robotów), Crawl Budget (Budżet indeksowania), Roboty wyszukiwarek (Spiders, Crawlers), Indeksowanie (Indexing), SEO (Search Engine Optimization), Meta robots, Sitemap.xml, Noindex oraz Canonical URL.