Генератор robots.txt
Создавайте robots.txt с правилами индексации, Disallow и ссылкой на sitemap.xml.
Настройки
Готовый robots.txt
User-agent: *
Подробнее об инструменте — Генератор robots.txt
Создавайте robots.txt с правилами индексации, Disallow и ссылкой на sitemap.xml.
Укажите домен, выберите базовое правило индексации и добавьте собственные запрещённые пути. Получите готовый robots.txt для поисковых роботов Google, Яндекса и других систем. Сервис работает прямо через веб-страницу DEVNEW.ORG и не требует установки отдельной программы. Он подходит владельцам сайтов, разработчикам, SEO-специалистам, дизайнерам и всем, кому нужен быстрый онлайн-инструмент. Используйте его бесплатно для рабочих и личных задач.
Смотрите также
Генератор sitemap.xml
Создавайте XML-карту сайта автоматически по URL или из собственного списка страниц.
Перейти к инструментуГенератор Meta Tags
Создавайте Meta Title, Description, Robots, Canonical и Open Graph теги для страниц сайта.
Перейти к инструментуПроверка скорости сайта
Проверяйте HTTP-статус, время соединения, TTFB, загрузку HTML и размер ответа сайта.
Перейти к инструменту