Fișierul robots.txt este primul document pe care îl accesează Googlebot când vizitează site-ul dvs. Deși simplu ca structură, robots.txt poate cauza probleme SEO grave dacă este configurat greșit. Un robots.txt incorect poate bloca accidental indexarea întregului site sau, dimpotrivă, poate permite crawlarea unor resurse pe care doriți să le țineți private.

WordPress creează automat un fișier robots.txt virtual, dar configurarea implicită nu este întotdeauna optimă pentru toate tipurile de site-uri. Înțelegerea funcționării robots.txt și personalizarea sa în funcție de specificul site-ului dvs. este un element esențial al SEO tehnic.

Acest ghid acoperă tot ce trebuie să știți despre robots.txt în WordPress: sintaxa corectă, directivele disponibile, configurarea optimă și cele mai frecvente greșeli care afectează indexarea.

Ghid pentru utilizarea corectă a fișierului robots.txt în WordPress

Fișierul robots.txt este un fișier text plasat în rădăcina domeniului (https://site.ro/robots.txt) care conține instrucțiuni pentru crawlerele motoarelor de căutare. Aceste instrucțiuni sunt directivele User-agent (care crawler este vizat), Disallow (ce URL-uri nu trebuie crawlate) și Allow (excepții de la regulile Disallow).

Important: robots.txt nu este o metodă de securizare a conținutului. Directivele robots.txt sunt respectate de crawlerele legitime (Googlebot, Bingbot etc.), dar un crawler malițios le va ignora. Pentru a ascunde conținut sensibil, folosiți autentificare prin parolă sau restricții la nivel de server.

robots.txt nu are același efect ca noindex. O pagină blocată în robots.txt poate fi totuși indexată de Google dacă există linkuri externe spre ea, deoarece Google indexează URL-uri chiar fără a crawla conținutul lor. Dacă doriți să împiedicați indexarea unei pagini, folosiți meta robots noindex, nu robots.txt. Verificați sitemap-ul XML pentru a vă asigura că paginile blocate nu sunt incluse acolo.

Sintaxa corectă a fișierului robots.txt

Un fișier robots.txt corect structurat arată astfel:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot
Allow: /

Sitemap: https://www.site.ro/sitemap.xml

User-agent: * se aplică tuturor crawlerelor. Disallow: / blochează toate URL-urile (nu faceți aceasta pe un site live). Disallow: /wp-admin/ blochează directorul de administrare WordPress, ceea ce este recomandat. Linia Allow: /wp-admin/admin-ajax.php este necesară pentru că multe plugin-uri WordPress folosesc admin-ajax.php pentru funcționalități front-end.

Adăugarea URL-ului sitemap-ului la finalul fișierului robots.txt este o practică recomandată care ajută crawlerele să găsească rapid harta site-ului. Yoast SEO adaugă automat această linie, dar verificați că URL-ul sitemap-ului este corect și că sitemap-ul este accesibil.

Configurarea robots.txt în WordPress

WordPress 5.3+ generează un robots.txt virtual dacă nu există un fișier fizic în rădăcina site-ului. Puteți edita acest robots.txt virtual prin Yoast SEO (SEO > Tools > File Editor), prin Rank Math (General Settings > Edit robots.txt) sau prin adăugarea unui filtru personalizat în functions.php.

Dacă preferați un fișier fizic robots.txt, creați-l în directorul rădăcină al site-ului (același nivel cu wp-config.php) prin FTP sau prin managerul de fișiere din cPanel. Fișierul fizic are prioritate față de robots.txt-ul virtual generat de WordPress. Asigurați-vă că fișierul fizic este actualizat după modificări ale structurii site-ului.

Verificați că robots.txt este accesibil la https://www.site.ro/robots.txt și că nu returnează erori 404 sau 500. Un robots.txt inaccesibil poate cauza probleme de crawl pe termen lung. Monitorizați statusul robots.txt prin Google Search Console, secțiunea Crawl > robots.txt Tester.

Ce ar trebui blocat în robots.txt pentru WordPress

Există câteva directoare WordPress pe care este recomandat să le blocați din crawl: /wp-admin/ (cu excepția admin-ajax.php), /wp-includes/ (fișierele de sistem WordPress nu trebuie indexate), /?s= (rezultatele căutărilor interne generează duplicate) și /trackback/ (funcționalitate veche, rar folosită).

Pentru site-uri WooCommerce, blocați directoarele generate de plugin care nu adaugă valoare SEO: /cart/, /checkout/, /my-account/ și URL-urile cu parametri de filtrare care generează duplicate. Verificați că paginile de produs și categorii nu sunt blocate accidental.

Nu blocați CSS, JavaScript sau fișierele de imagini în robots.txt. Google are nevoie de acces la aceste resurse pentru a procesa corect paginile și a evalua experiența utilizatorilor. Blocarea lor poate afecta scorurile Core Web Vitals calculate de Google. Consultați și greșelile frecvente de SEO în WordPress pentru mai multe exemple.

Verificarea și testarea robots.txt

Google Search Console oferă un instrument de testare robots.txt (Search Console > Crawl > robots.txt Tester) care vă permite să verificați rapid dacă un anumit URL este blocat sau permis conform regulilor actuale. Introduceți URL-ul pe care doriți să îl testați și instrumentul afișează ce regulă se aplică.

Utilizați instrumentul URL Inspection din Search Console pentru a verifica că paginile importante nu sunt blocate inadvertent. Raportul Coverage afișează de asemenea paginile blocate prin robots.txt, ceea ce vă permite să identificați rapid blocaje accidentale.

Un robots.txt corect configurat contribuie la eficiența bugetului de crawl și la indexarea corectă a paginilor importante. Dacă observați că Google nu indexează anumite pagini importante sau că bugetul de crawl este consumat pe resurse irelevante, verificați robots.txt ca primul pas în diagnosticare. Serviciile SEO ale echipei noastre includ auditul complet al configurației tehnice, inclusiv robots.txt. Contactați-ne pentru o evaluare.