Robots.txt este un fişier text ce are rolul de a informa spiderii ce anume au voie de indexeze şi ce nu. Vom discuta doar de spiderii care se comportă normal precum Google bot, trebuie să ştim că există unii destul de agresivi despre care vom vorbi cu altă ocazie. Acestora le vom interzice accesul prin [...]