Generator robots.txt și sitemap
Creează fișierul robots.txt și un sitemap XML simplu dintr-o listă de pagini.
Mulțumim! Ne ajută să facem uneltele mai bune.
Nu s-a putut trimite acum. Încearcă mai târziu.
Generatorul de robots.txt și sitemap creează cele două fișiere de bază de care are nevoie orice site ca să fie găsit corect de Google: fișierul robots.txt, care spune roboților ce foldere să nu acceseze, și un sitemap XML simplu cu lista paginilor tale. Scrii domeniul, paginile (una pe rând) și folderele blocate, alegi fișierul și îl descarci gata de urcat pe server.
Ce conține fiecare fișier
Pentru domeniul https://exemplu.ro, cu folderele /admin/ și /tmp/ blocate, robots.txt arată așa:
User-agent: * Disallow: /admin/ Disallow: /tmp/ Sitemap: https://exemplu.ro/sitemap.xml
Dacă nu blochezi nimic, unealta scrie „Disallow:” gol, ceea ce înseamnă că roboții au voie peste tot. Rândul Sitemap le spune motoarelor de căutare unde găsesc lista de pagini.
Sitemap-ul conține pentru fiecare pagină adresa completă (loc) și data de azi ca dată a ultimei modificări (lastmod). Dacă scrii o pagină fără bară la început, de exemplu „contact”, unealta adaugă bara și obține https://exemplu.ro/contact.
| Pagină scrisă | Adresa din sitemap |
|---|---|
| / | https://exemplu.ro/ |
| /nunti | https://exemplu.ro/nunti |
| contact | https://exemplu.ro/contact |
Unde le pui și ce faci după
Ambele fișiere se pun în rădăcina site-ului, astfel încât să se deschidă la exemplu.ro/robots.txt și exemplu.ro/sitemap.xml. Apoi adaugă sitemap-ul în Google Search Console, la secțiunea Sitemaps, ca să vezi câte pagini au fost indexate. Un sitemap poate avea cel mult 50.000 de adrese; peste această limită îl împarți în mai multe fișiere.
Greșeli frecvente
- Blocarea în robots.txt nu scoate o pagină din Google dacă alte site-uri trimit linkuri spre ea. Pentru asta folosești eticheta meta robots noindex.
- Nu bloca folderele cu CSS, JavaScript sau imagini, Google are nevoie de ele ca să vadă pagina ca un vizitator.
- „Disallow: /” blochează tot site-ul, o greșeală care poate scoate un site întreg din căutări.
- Pune în sitemap doar pagini reale, fără redirecționări sau pagini de eroare.
Pentru adrese curate în sitemap transformă titlurile cu generatorul de slug, iar pentru fiecare pagină scrie titlul și descrierea cu generatorul de meta tag-uri.
Întrebări frecvente
Unde se pune fișierul robots.txt?
În rădăcina domeniului, ca să fie accesibil la adresa domeniu.ro/robots.txt. Într-un subfolder nu este citit.
Am nevoie de sitemap dacă site-ul e mic?
Nu e obligatoriu, dar ajută Google să găsească mai repede paginile noi, mai ales pe un site nou, cu puține linkuri externe.
Ce înseamnă „Disallow:” fără nimic după?
Că nu e blocat nimic și roboții pot accesa tot site-ul.
Cum trimit sitemap-ul la Google?
Din Google Search Console, la Sitemaps, scrii adresa fișierului, de exemplu sitemap.xml, și apeși Trimite. Linia Sitemap din robots.txt îl face vizibil și altor motoare de căutare.
Actualizat:
Ce unealtă îți lipsește?
Spune-ne ce calculator sau unealtă ai căutat și n-ai găsit. Citim fiecare sugestie.