Cum să: robots.txt pentru wordpress
Tagged Under : robots.txt, SEO, wordpress
Robots.txt este un fişier text ce are rolul de a informa spiderii ce anume au voie de indexeze şi ce nu. Vom discuta doar de spiderii care se comportă normal precum Google bot, trebuie să ştim că există unii destul de agresivi despre care vom vorbi cu altă ocazie. Acestora le vom interzice accesul prin alte metode!
Definim în primul rând spiderul, în cazul de faţă includem toţi spiderii
User-agent: *
Îi interzicem accesul la anumite directoare pe care nu le dorim indexate, care nu conţin informaţii utile pentru un motor de căutare.
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Pentru a evita conţinutul duplicat
Disallow: /trackback
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /tag/
Disallow: /page/
Disallow: */feed/
În directorul wp-content/uploads am încărcat imagini şi alte tipuri de fişiere pe care le dorim indexate, nu?
Allow: /wp-content/uploads
Cum spiderul pentru imagini este diferit îi acordăm acces total
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
.. acceaşi idee şi pentru spiderul Adsense, dacă aveţi reclame în pagină.
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
Ar fi o bună idee să aducem aminte spiderilor că avem şi un sitemap.xml, nu?
Sitemap: http://www.domeniultau.com/sitemap.xml
Cam asta ar fi, downloadează fişierul ataşat şi modifică ultima linie cu adresa blogului tău. Enjoy it!
Foarte util. Mersi mult.
Hai salut!Am o problema cu forumul. Mi-am formatat calculatorul si cand sa intru pe forum imi dau seama ca am uitat parola. Nici o problema, dau recover password, imi da o alta parola. O bag pe aia, nici asa nu vrea. De aseara tot nu merge. Ce tot are?Cum sa ma loghez din nou?
Ce legătură are blogul ăsta cu suport forum blogoree? Dar, fie! Trimite-mi pe mail ce parola vrei şi se rezolvă!
Foarte util. Multumesc mult!
Am si eu o intrebare: pe un blog cam cat de frecvent trebuie reinoit sitemap.xml? Sau nu trebuie?
De fiecare dată când apare conţinut nou. Există un plugin pentru wordpress, foarte bun chiar, care face asta. O să explic săptămâna viitoare ce şi cum.
Am introdus acum vreo 2 luni fisierul robots.txt
Constat cu surprindere ca au fost indexate si categoriile, desi dadusem disallow.
In fine, nu e nici o tragedie, se pare ca nu sunt penalizat pentru continut duplicat, dar asa, ca idee, ce oi fi facut aiurea?
A mai avut careva probleme de genul asta?