De la EuroDomenii - Domenii .Eu .Ro Registrator Acreditat

SEO cu Robots.txt

Asigurati-va ca fisierul robots.txt este pe serverul vostru. Daca nu va trebui sa il realizati sau sa il modificati. Ce este de fapt robots.txt? Nu am sa incerc sa va dau o definitie ci mai degraba sa va fac sa intelegeti importanta unui astfel de fisier pentru optimizarea unui site….si nu numai. Fisierul robots.txt spune spiderilor ce pagini sa fie indexate sau nu.

Googlebot and Robots.txt

Cand va decideti ce pagini sa fie indexate Googlebot merge in ordinea:

1. Googlebot va asculta primul record din fisierul robots.txt cu User-agent care incepe cu ”Googlebot”. 2. Daca nu exista ”Googlebot” User-agent va asculta de prima linie care are declaratia User-agent ”*”.

Robots.txt pentru Wordpress

User-agent: * # nu permite indexarea tuturor file-urilor existente in directoarele respective Disallow: /cgi-bin/ Disallow: /z/j/ Disallow: /z/c/ Disallow: /stats/ Disallow: /dh_ Disallow: /about/ Disallow: /contact/ Disallow: /tag/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /contact Disallow: /manual Disallow: /manual/* Disallow: /phpmanual/ Disallow: /category/ User-agent: Googlebot # nu permite indexarea fisiere care se termina cu respectivele extensii Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.gz$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ # nu indexeaza file-urile cu ? in url Disallow: /*?* # disable duggmirror User-agent: duggmirror Disallow: / # permite google image bot sa caute toate imaginile User-agent: Googlebot-Image Disallow: Allow: /* # permite adsense bot in tot site-ul User-agent: Mediapartners-Google* Disallow: Allow: /*

Sursa