
Configurar robots.txt para motores de búsqueda
Robots. txt es una de las herramientas técnicas básicas de SEO. Le ayuda a controlar qué páginas de su sitio pueden ser rastreadas por los motores de búsqueda, incluido Google.
Configuración correcta de robots. txt le permite acelerar la indexación, evitar duplicados y proteger las secciones de servicio del sitio.
¿Qué son los robots? txt
robots. txt es un archivo de texto que se coloca en la raíz del sitio:
Contiene instrucciones para motores de búsqueda como Google Search.
Directivas básicas de robots. texto
1. Agente de usuario
Indica a qué robot se aplica la regla:
* - significa para todos los robots de búsqueda.
2. Disallow
No permite el acceso a determinadas páginas o secciones:
No permitir: /cart/
3. Permitir
Permite el acceso a páginas específicas:
4. Mapa del sitio
Indica la ruta al mapa del sitio:
Пример правильного robots. txt
No permitir: /admin/
No permitir: /checkout/
Permitir: /
Mapa del sitio: https://ejemplo. es/mapa del sitio. xml
📌 Esto es:
-
administración y configuración de archivos adjuntos
-
ostalnye страницы открыты для индексации
Частые ошибки
1. Полный запрет индексации
❌ Todos los archivos guardados en Google
Закрытие CSS y JS
❌ Может нарушить отображение сайта
📌 Solución: no descargues ningún recurso
3. Mapa del sitio actual
Без карты сайта роботу сложнее находить страницы.
4. Nepraвильные пути
Ошибки в написании URL dелают правила бесполезными.
Cómo proporcionar robots. txt
Через браузер
Откройте:
A través de Google Search Console
-
Comprobando los robots. txt
-
Análisis de errores de rastreo
Recomendaciones de configuración
-
Cerrar páginas de servicio (panel de administración, carrito, filtros)
-
Dejar abierto el contenido que debe clasificarse
-
Agregue un enlace al mapa del sitio. xml
-
No bloquee CSS y JS
-
Compruebe el archivo periódicamente después de los cambios
robots. txt y SEO
Robots. txt no garantiza que las páginas se eliminarán del índice, pero:
-
administra el presupuesto de rastreo
-
ayuda a indexar páginas importantes más rápido
-
reduce la carga del servidor
Punto importante
Si necesita eliminar completamente una página de la búsqueda - utilice:
-
metaetiqueta
noindex -
o herramientas en Google Search Console
robots. txt es una herramienta SEO simple pero poderosa. La configuración adecuada ayuda a los motores de búsqueda a comprender correctamente la estructura del sitio y a promocionarlo más rápido en Google.