Robots.txt su utilidad, funcionamiento y como crearlo

Los robots.txt son imprescindibles para las arañas de los buscadores, porque? muy sencillo es uno de los archivos que primero suelen acceder, para saber si en el denegamos el acceso a una carpeta o pagina que no queremos indexar o si por el contrario dejamos que acceda y indexe hasta las imágenes del diseño de un site.

- Creando robot.txt en el cual damos acceso a todas las paginas, imágenes, archivos.. de un site. Abriremos un editor de texto, por ejemplo el bloc de notas y en el escribiremos:

User-agent: *
Disallow:

- Creando robots.txt denegando el acceso a las arañas para que no indexen cierta pagina y carpeta:

User-agent: *
Disallow: pagina_a_denegar.php
Disallow: /carpeta/

- Creación de robots.txt denegando por completo a las arañas, para que no rastreen nuestro sitio y no indexen en sus buscadores el sitio.

User-agent: * (si fuera solo para una araña en concreto se cambiaría el * por el nombre de este)
Disallow: /

Creo que a raíz de esta explicación, queda mas o menos claro como crearlo, explicaciones:

User-agent: para especificar que arañas pueden rastrear
* : significa que pueden acceder todos
Disallow: Indica que pueden o no rastrear
/ : todo un site
/ seguido de un nombre/ : una carpeta en concreto y todas las paginas, imágenes, archivos.. que se encuentren en esta.


© 2004/2016 www.dursula.com
Permitida la copia, siempre y cuando se cite a dursula.com como autor y añada un enlace a nuestro site o al artículo original.