La forma en que los usuarios y las empresas son descubiertos en internet está cambiando más rápido de lo que muchos imaginan. Durante años, el SEO tradicional fue el rey indiscutible: si querías aparecer, tenías que ganarte un lugar en los resultados de los buscadores. Pero hoy, una parte creciente del tráfico web no proviene de personas tecleando en Google, sino de agentes de inteligencia artificial que rastrean, analizan y extraen información de la web de forma automatizada. Y esos agentes tienen necesidades muy distintas a las de un usuario humano.
Para responder a este nuevo paradigma, Cloudflare acaba de presentar Markdown for Agents, una funcionalidad que permite a su red convertir automáticamente el contenido HTML de cualquier web en formato Markdown, servido directamente al agente de IA que lo solicite. Una novedad técnica con implicaciones importantes para desarrolladores, propietarios de webs y cualquiera que trabaje con sistemas de IA.
Índice
¿Por qué Markdown y no HTML?
La respuesta es sencilla: eficiencia. El HTML que vemos en cualquier página web está lleno de etiquetas, clases, atributos, menús de navegación, scripts y capas de <div> que no aportan ningún valor semántico para una IA. Todo ese «ruido» se traduce en tokens, y los tokens cuestan dinero y tiempo de procesamiento.
Para ilustrarlo, Cloudflare ofrece un ejemplo muy claro: un simple encabezado «Sobre nosotros» en Markdown (## Sobre nosotros) consume aproximadamente 3 tokens. Su equivalente en HTML (<h2 class="section-title" id="about">Sobre nosotros</h2>) puede costar entre 12 y 15 tokens, sin contar los elementos envolventes. Aplicado a una página completa, la diferencia es enorme: el propio artículo de Cloudflare donde se anuncia esta funcionalidad pesa 16.180 tokens en HTML y apenas 3.150 en Markdown. Una reducción del 80%.
No es de extrañar, por tanto, que Markdown se haya convertido en la lengua franca de los sistemas de IA. Su estructura explícita facilita el procesamiento, reduce el desperdicio de tokens y mejora la calidad de los resultados. El problema es que la web está hecha de HTML, no de Markdown, y convertir uno en el otro en cada petición implica un coste computacional adicional, complejidad en los pipelines de IA y posibles pérdidas de fidelidad respecto a la intención original del creador de contenido.
Cómo funciona Markdown for Agents
La solución de Cloudflare es elegante: en lugar de que cada sistema de IA haga la conversión por su cuenta, la red de Cloudflare lo hace directamente en el origen, en tiempo real, mediante negociación de contenido HTTP estándar.
El mecanismo es simple. Cuando un agente de IA realiza una petición a una web que tiene activada esta funcionalidad, solo necesita incluir la cabecera HTTP Accept: text/markdown. Cloudflare detecta esta cabecera, obtiene la versión HTML de la página desde el servidor de origen y la convierte a Markdown antes de enviarla al cliente. El resultado es una respuesta limpia, estructurada y lista para ser procesada por cualquier sistema de IA, con una cabecera adicional (x-markdown-tokens) que indica el número estimado de tokens del documento.
Esta integración ya es compatible con algunos de los agentes de codificación más populares del momento, como Claude Code u OpenCode, que ya envían estas cabeceras de aceptación en sus peticiones de forma nativa.
Content Signals: control sobre el uso del contenido
Cloudflare también ha integrado Markdown for Agents con su framework de Content Signals, anunciado anteriormente. Esta tecnología permite a los propietarios de webs expresar sus preferencias sobre cómo puede usarse su contenido una vez que ha sido accedido por un agente o crawler.
Por defecto, las respuestas convertidas a Markdown incluyen la cabecera Content-Signal: ai-train=yes, search=yes, ai-input=yes, lo que indica que el contenido puede utilizarse para entrenar modelos de IA, aparecer en resultados de búsqueda y ser usado como entrada en sistemas de IA, incluidos los agentes. En el futuro, Cloudflare tiene previsto ofrecer opciones para personalizar estas políticas según las necesidades de cada propietario de contenido.
Disponibilidad y cómo activarlo
Cloudflare ha habilitado esta función en su propio blog y en su documentación para desarrolladores como prueba de concepto. Cualquier agente puede probarla ahora mismo realizando una petición con la cabecera Accept: text/markdown a cualquiera de esas URLs.
Para los clientes de Cloudflare, la activación es sencilla: desde el panel de control, hay que seleccionar la zona correspondiente, buscar la sección de Acciones rápidas y activar el botón de Markdown for Agents. La funcionalidad está disponible en fase Beta, sin coste adicional, para los planes Pro, Business y Enterprise, así como para clientes de SSL for SaaS.
En paralelo, Cloudflare Radar ha incorporado nuevas métricas para rastrear la evolución del uso de Markdown por parte de los bots y crawlers de IA, lo que permitirá observar cómo cambia la forma en que estos sistemas consumen el contenido web a lo largo del tiempo.
Una señal de los tiempos
Markdown for Agents no es solo una mejora técnica: es un indicador claro de hacia dónde se dirige la web. Los agentes de IA ya son ciudadanos de primera clase en el ecosistema digital, y las webs que quieran ser relevantes en este nuevo contexto tendrán que pensar no solo en cómo las ven los usuarios humanos, sino también en cómo las consumen las máquinas. Iniciativas como esta de Cloudflare sientan las bases de una web más eficiente, más semántica y mejor preparada para la era de la inteligencia artificial.
Cómo aplicar Markdown for Agents en WordPress: resumen práctico
WordPress es hoy el CMS más utilizado del mundo, y precisamente por eso se convierte en uno de los principales objetivos de los agentes de IA que rastrean la web en busca de contenido. La buena noticia es que la tecnología Markdown for Agents se puede implementar en WordPress de varias formas concretas, adaptadas a distintos niveles de control y conocimiento técnico.
La opción más sencilla para sitios WordPress que ya utilizan Cloudflare con un plan de pago es activar directamente la funcionalidad desde el panel de control de la CDN, sin tocar ningún archivo ni instalar nada. Cloudflare intercepta las peticiones de los agentes de IA que incluyen la cabecera Accept: text/markdown y les devuelve una versión limpia del contenido en Markdown, reduciendo el consumo de tokens hasta en un 80%. Es la solución más rápida, aunque también la más genérica, ya que no distingue entre tipos de contenido de WordPress ni ofrece descubribilidad mediante etiquetas link alternate.
Para quienes buscan una solución nativa en WordPress, el plugin Markdown Alternate de Joost de Valk (disponible en GitHub) genera URLs dedicadas con extensión .md para cada entrada y página, añade metadatos YAML con información del autor, categorías y etiquetas, e implementa la negociación de contenido estándar. Todo esto sin necesidad de pasar por una CDN externa, lo que lo hace especialmente interesante para instalaciones autogestionadas.
La opción más completa para una web WordPress es el plugin VigIA, que integra Markdown for Agents con el resto de herramientas de control de rastreadores de IA. Con VigIA, los crawlers bloqueados tampoco reciben la versión Markdown, el contenido excluido del archivo llms.txt tampoco se sirve en Markdown, y todas las peticiones quedan registradas en las analíticas del plugin. Es la única solución que combina entrega de Markdown con monitorización, bloqueo selectivo y generación de archivos llms.txt y llms-full.txt, ofreciendo así una estrategia coherente y unificada para gestionar cómo los agentes de IA interactúan con el contenido de un sitio WordPress.
En cualquier caso, la clave para aplicar correctamente esta tecnología en WordPress es respetar el estándar HTTP de negociación de contenido: no se trata de detectar bots por su User-Agent y servirles contenido diferente (lo que se consideraría cloaking), sino de responder en Markdown cuando el agente lo solicita explícitamente. El contenido es el mismo; solo cambia el formato. Eso es lo que hace que estas implementaciones sean técnicamente legítimas y, a largo plazo, beneficiosas para mejorar la visibilidad del sitio en los sistemas de inteligencia artificial.