Comprobador de robots.txt para IA
Mira qué le dice tu robots.txt a 14 rastreadores de IA, de OpenAI y Perplexity a Google y Common Crawl, y qué reglas te están costando visibilidad en IA.
No todos los bots de IA son iguales
Bots de búsqueda
OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot y Bingbot crean los índices de los que salen las respuestas de IA. Si los bloqueas, no pueden citarte.
Bots de consulta en directo
ChatGPT-User, Perplexity-User y Claude-User abren una página cuando alguien pregunta por ella. Bloquearlos rompe las respuestas sobre tus propias páginas.
Bots de entrenamiento
GPTBot, ClaudeBot, Google-Extended, CCBot y otros recopilan datos para futuros modelos. Bloquearlos es una decisión de política que no afecta a la búsqueda.
Preguntas
Preguntas frecuentes
¿Debo bloquear GPTBot?+
Bloquear GPTBot impide que OpenAI entrene con tus páginas. No te saca de la búsqueda de ChatGPT, que usa OAI-SearchBot y ChatGPT-User. Bloquea los bots de entrenamiento si esa es tu política, pero deja permitidos los bots de búsqueda y de consulta en directo si quieres que te citen.
¿Qué bots deciden si los asistentes de IA me citan?+
Los bots de búsqueda y de consulta en directo: OAI-SearchBot y ChatGPT-User (OpenAI), PerplexityBot y Perplexity-User, Claude-SearchBot y Claude-User (Anthropic), Googlebot (Google Search, AI Overviews y AI Mode) y Bingbot (Bing y Copilot).
¿Google-Extended afecta a AI Overviews?+
No. Google-Extended controla si los modelos Gemini pueden usar tu contenido; AI Overviews y AI Mode salen de Google Search, que usa Googlebot.
robots.txt permite los bots, pero siguen sin poder entrar. ¿Por qué?+
La protección contra bots de tu CDN o firewall (Cloudflare, Akamai, un WAF) puede rechazar a los rastreadores de IA aunque robots.txt los permita. Nuestro comprobador de preparación para IA también lo analiza.
Arreglar tu web es el primer paso. ¿Te recomienda la IA?
Sigue cada semana cómo responden ChatGPT, Perplexity, Gemini y la IA de Google a las preguntas que hacen tus compradores, frente a tus competidores.