Saltar al contenido

Devutilitesv 0.9.0

Search

IA

Git

Base de Datos

Matemáticas

Imágenes

Frontend

DNI

Finanzas

Conversores

Datos Mock

Seguridad

Herramientas Dev

Herramientas de Texto

Crypto y Hashing

UUID

Vehículos

Máquina

Pasaporte

Contraseña

Código de Barras

Facturación

Red

Infraestructura

SEO

Productividad

Inicio

Cargando...

© 2024 Devutilites. Todos los derechos reservados.

Política de Privacidad Términos de Servicio·Seguridad Contacto Changelog Ruta Estado··Hecho con Next.js

Generador de robots.txt

Genera reglas robots.txt

3 Rules

Directives & Rules Configuration

User-Agent

Crawl-Delay (sec)

Sitemap URL

Access Rules

Block AI / LLM Scrapers

Disallows GPTBot, ClaudeBot, CCBot, Anthropic

Generated robots.txt File Output

User-agent: *
Disallow: /api/
Disallow: /admin/
Allow: /

Sitemap: https://example.com/sitemap.xml

Live URL Path & Bot Access Simulation

Target URL Path to Test

Target Crawler / User-Agent

Evaluation Result:

ACCESS DISALLOWED (BLOCKED)

Rule: Disallow: /api/

Industry-Standard Robots.txt Templates

Modern Next.js & Web App

Allows general web indexing while protecting private admin, API and auth paths.

AI Scraping Protected

Allows standard search engines (Google, Bing) while explicitly blocking AI/LLM bots.

Staging / Private Disallow All

Instructs all search crawlers not to index any page on this domain.