El documento robots.txt es el herramienta esencial para toda sitio que pretende ser bien posicionada por los buscadores como Chrome Explorar . Sirve como un instructivo para los rastreadores , indicándoles qué páginas de tu sitio pueden están rastreadas y cuáles no . Una correcta configuración de este archivo ayuda a evitar problemas de posic