robots.txt 生成器
生成包含索引规则、Disallow 指令和 sitemap.xml 链接的 robots.txt。
可作为初始模板使用，发布前请根据网站结构检查规则。
设置
Готовый robots.txt
User-agent: *
关于此工具 — robots.txt 生成器
生成包含索引规则、Disallow 指令和 sitemap.xml 链接的 robots.txt。
输入域名、选择基础索引规则并添加禁止抓取路径，即可生成适用于 Google、Yandex 等搜索引擎爬虫的 robots.txt。 该工具可直接在 DEVNEW.ORG 网页中使用，无需另外安装软件。适合网站站长、开发者、SEO 从业者、设计师以及需要快速在线工具的用户，可免费用于工作和个人任务。