Los robots.txt son imprescindibles para las arañas de los buscadores, porque? muy sencillo es uno de los archivos que primero suelen acceder, para saber si en el denegamos el acceso a una carpeta o pagina que no queremos indexar o si por el contrario dejamos que acceda y indexe hasta las imágenes del diseño de un site.

- Creando robot.txt en el cual damos acceso a todas las paginas, imágenes, archivos.. de un site. Abriremos un editor de texto, por ejemplo el bloc de notas y en el escribiremos:

User-agent: *
Disallow:

- Creando robots.txt denegando el acceso a las arañas para que no indexen cierta pagina y carpeta:

User-agent: *
Disallow: pagina_a_denegar.php
Disallow: /carpeta/

- Creación de robots.txt denegando por completo a las arañas, para que no rastreen nuestro sitio y no indexen en sus buscadores el sitio.

User-agent: * (si fuera solo para una araña en concreto se cambiaría el * por el nombre de este)
Disallow: /

Creo que a raíz de esta explicación, queda mas o menos claro como crearlo, explicaciones:

User-agent: para especificar que arañas pueden rastrear
* : significa que pueden acceder todos
Disallow: Indica que pueden o no rastrear
/ : todo un site
/ seguido de un nombre/ : una carpeta en concreto y todas las paginas, imágenes, archivos.. que se encuentren en esta.