Metodología

Cómo obtenemos, calculamos y matizamos cada cifra

Los asistentes de IA no dan dos veces la misma respuesta. Cada cifra de Huginnova es una estimación a partir de una muestra de respuestas reales, así que mostramos cómo se obtuvo, cómo se calculó y qué grado de certeza tiene. Aquí nada es una caja negra.

Cómo se obtienen las respuestas

Para cada prompt monitorizado, hacemos la pregunta a cada motor de IA seleccionado exactamente como la escribiría un comprador, sin mencionar la marca. Guardamos el texto completo de la respuesta y todas las fuentes que cita, de modo que cada métrica puede rastrearse hasta las respuestas en las que se basa.

Motor de IAMétodo de obtención
ChatGPTLa interfaz real de ChatGPT, tal como la ve un usuario sin sesión iniciada, incluidas las fuentes que cita.
PerplexityPerplexity Sonar, que busca en la web para cada respuesta.
GeminiLa interfaz real de Gemini, incluidas las fuentes que cita.
Google AI OverviewsLa AI Overview de una página de resultados de Google en directo. Si Google no muestra ninguna, se registra como una respuesta sin tu marca.
Google AI ModeResultados de Google AI Mode en directo, con sus referencias.
ClaudeClaude con la búsqueda web activada (complemento).

Cada proyecto define un mercado (país) y un idioma. El país se envía como ubicación del usuario a los motores de IA que lo admiten, y el idioma determina el idioma de la interfaz de Google. Los resultados solo son representativos de ese mercado.

Cuando un motor de IA ofrece una interfaz para el público, obtenemos las respuestas de ella, porque las respuestas de la API pueden diferir de lo que ve la gente (versión del modelo, comportamiento de búsqueda, funciones de la interfaz). Los datos se obtienen a través de un proveedor especializado; cada respuesta guardada registra qué método la produjo.

Muestreo repetido

Un mismo prompt puede producir marcas, órdenes y fuentes distintas de una ejecución a otra. Una sola respuesta por semana es una anécdota, no una medición. Por eso hacemos cada prompt varias veces por motor de IA en cada ejecución (3 por defecto) y calculamos las tasas sobre todas esas respuestas.

Más muestras significan intervalos de confianza más estrechos y una detección más temprana de los cambios reales, con un coste de obtención proporcional.

Menciones y citas

Una mención es la aparición del nombre de la marca (o de uno de sus alias o de su dominio) en la respuesta como palabra completa, sin distinguir entre mayúsculas y minúsculas. El orden en que aparece por primera vez cada marca monitorizada le asigna una posición (1 = nombrada en primer lugar).

Una cita es una URL de fuente que el motor de IA adjuntó a la respuesta o incluyó en su texto. Las URL se normalizan (se eliminan los parámetros de seguimiento y se agrupan los duplicados) y se atribuyen por dominio a tu sitio, al sitio de un competidor o a un tercero.

Definición de las métricas

Visibilidad en IA: la proporción de respuestas obtenidas que mencionan la marca.

visibilidad = respuestas que mencionan la marca ÷ total de respuestas

Cuota de voz: la parte que corresponde a la marca del total de menciones de las marcas monitorizadas (la tuya y las de tus competidores). Depende de qué competidores monitorices.

cuota de voz = menciones de la marca ÷ menciones de todas las marcas monitorizadas

Citada como fuente (tasa de citas): la proporción de respuestas que citan al menos una página de tu dominio.

Posición media: la posición media de la marca en las respuestas que la mencionan. Las respuestas que no mencionan la marca se excluyen.

Sentimiento: cómo presenta cada respuesta a la marca, puntuado de −1 (muy negativo) a +1 (muy positivo) en cinco niveles. Cuando hay una clave de API de Anthropic configurada, un modelo Claude evalúa el lenguaje que usa la propia respuesta sobre cada marca (fuerza de la recomendación, elogios, salvedades, críticas), no la opinión del modelo sobre la marca. En caso contrario, se aplica un léxico de palabras clave a la frase en la que aparece la mención. El fragmento en el que se basa cada puntuación se guarda y se muestra.

Intervalos de confianza

Cada tasa se muestra con un intervalo de puntuación de Wilson del 95 %, que sigue siendo preciso con muestras pequeñas y con tasas cercanas al 0 % o al 100 %. En los gráficos, la banda sombreada es el intervalo y el marcador es la estimación puntual.

centro = (p + z²/2n) ÷ (1 + z²/n), margen = z·√(p(1−p)/n + z²/4n²) ÷ (1 + z²/n), z = 1.96

Interprétalo así: si siguiéramos obteniendo respuestas de la misma forma, la tasa real quedaría dentro de este rango el 95 % de las veces.

¿Es real un cambio?

Cada comparación «frente al periodo anterior» aplica una prueba z de dos proporciones. Un cambio se marca como significativo solo cuando p < 0,05; si no, se marca como «no significativo» y debe interpretarse como la variación normal entre respuestas. Así se evita presentar ruido a los clientes como ganancias o pérdidas.

z = (p₂ − p₁) ÷ √(p̂(1−p̂)(1/n₁ + 1/n₂)), p̂ = (x₁ + x₂) ÷ (n₁ + n₂)

Cómo medimos el impacto de las acciones

Cuando una acción del plan se marca como hecha, registramos la fecha. Su impacto compara la visibilidad de la marca en los 28 días anteriores con la de los 28 días posteriores (o hasta hoy), limitada a los prompts a los que se dirige la acción, o a todos los prompts en las acciones que afectan a todo el sitio, con la misma prueba de significación.

Es una comparación antes/después, no un experimento controlado: las actualizaciones de los motores de IA o la actividad de los competidores en el mismo periodo también pueden mover las cifras. Comparar los prompts objetivo con el resto del proyecto ayuda a separar ambos efectos.

Datos de demostración

Los motores de IA sin credenciales pueden funcionar con respuestas sintéticas para poder explorar el producto antes de conectar las fuentes de datos. Las respuestas sintéticas se guardan con la fuente «demo», y cada página e informe que incluya alguna de ellas muestra un aviso visible de datos de demostración. Los espacios de trabajo de producción desactivan por completo los datos de demostración.

Limitaciones

  • La visibilidad refleja los prompts que monitorizas. Un conjunto de prompts distinto da una imagen distinta, así que elige prompts que se correspondan con preguntas reales de los compradores.
  • Los motores de IA personalizan las respuestas para los usuarios con sesión iniciada. Medimos una experiencia neutral, sin sesión iniciada, para el mercado elegido.
  • La coincidencia de nombres puede pasar por alto paráfrasis («el gigante sueco del mueble») y contar de más los nombres genéricos. Añade alias para detectar más menciones.
  • Los motores de IA cambian de modelos e interfaces sin previo aviso. Los cambios repentinos en todas las marcas a la vez suelen indicar un cambio en el motor de IA y no un cambio en tu posición.
  • El sentimiento es una valoración automatizada. Revisa los fragmentos guardados antes de actuar en consecuencia.