Fișierul robots.txt este un document text simplu, publicat de regulă în rădăcina domeniului, care oferă instrucțiuni crawlerelor despre zonele pe care le pot solicita. Este folosit pentru gestionarea accesului roboților de căutare și pentru reducerea accesărilor inutile, dar nu este un mecanism de securitate.
Unde se află robots.txt?
Adresa obișnuită este https://exemplu.ro/robots.txt. Fișierul trebuie să fie accesibil public și să răspundă corect. Un domeniu și un subdomeniu pot avea fișiere robots.txt diferite, deoarece regulile se aplică originii pentru care sunt publicate.
Cum se scriu regulile?
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://exemplu.ro/sitemap_index.xml
User-agent indică robotul vizat, iar Disallow descrie o cale pe care robotul este rugat să nu o acceseze. Allow poate permite explicit o cale mai specifică. Directiva Sitemap indică adresa sitemap-ului XML. Interpretarea unor reguli poate varia între crawlere.
Robots.txt nu blochează indexarea în orice situație
O pagină blocată prin robots.txt poate apărea totuși în rezultatele căutării dacă motoarele descoperă URL-ul din alte surse. Dacă ai nevoie să controlezi indexarea, folosește mecanisme precum meta robots sau antetul X-Robots-Tag, în condițiile în care crawlerul poate accesa pagina și poate citi instrucțiunea.
Nu bloca fișiere CSS sau JavaScript de care crawlerul are nevoie pentru a înțelege corect pagina. De asemenea, nu publica în robots.txt căi către fișiere private pe care vrei să le ascunzi: fișierul este public și poate dezvălui structura site-ului.
Cum verifici fișierul?
- Deschide adresa robots.txt în browser și verifică răspunsul serverului.
- Verifică regulile pentru a evita blocarea accidentală a paginilor importante.
- Compară sitemap-ul declarat cu sitemap-ul real al site-ului.
- Folosește instrumentele actuale pentru inspectarea URL-urilor și rapoartele de accesare din Search Console.
- După modificări, urmărește logurile serverului și comportamentul crawlerelor.
Un fișier robots.txt corect este simplu, documentat și revizuit după schimbări majore în structura site-ului. Pentru comunicarea vizuală a unui brand și în afara mediului digital, poți consulta stickere decorative pentru vitrine și spații comerciale.
