Analytics
La pregunta que más nos hacen los clientes no es qué es un modelo de lenguaje. Es cuál ponemos. Y la respuesta honesta hasta hace poco era incómoda: casi todos los benchmarks que circulan están hechos en inglés, sobre problemas de examen, y miden cosas que no se parecen al trabajo de una empresa española.
Así que hicimos el nuestro. Se llama Ranking IA y es un benchmark de ocho modelos frontera en español profesional, con veinticinco pruebas sacadas de situaciones reales de oficina. Los datos están publicados en abierto, para que cualquiera pueda comprobarlos o discutirlos.
Qué mide este benchmark de IA y cómo lo mide
Veinticinco pruebas, cuatro pasadas por prueba y modelo, ochocientas respuestas evaluadas en total. Las pasadas repetidas no son un capricho: sirven para ver si un modelo contesta igual cuando le preguntas lo mismo cuatro veces, que es información que un solo intento no da.
Las pruebas se agrupan en seis familias: Instrucciones, Veracidad, Razonamiento, Carácter, Expresión y Español. Nada de acertijos. Son encargos como redactar un email de exactamente cien palabras sin usar cierta letra, rellenar tres campos de un CRM a partir de una conversación de comerciales, calcular una desviación presupuestaria y mantenerla cuando el usuario insiste en que está mal, o pasar un fragmento de castellano antiguo a español actual.
Cada modelo recibe un porcentaje global y una nota por familia, con semáforo en verde a partir de 75 y en rojo por debajo de 40, y un tier de la S a la C.
La clasificación, a 30 de agosto de 2026
- Claude Opus 5, de Anthropic: 97,1 %, tier S
- Claude Fable 5, de Anthropic: 94,3 %, tier S
- Kimi K3, de Moonshot: 89,2 %, tier A
- GPT-5.6 Sol, de OpenAI: 87,2 %, tier A
- Grok 4.6, de xAI: 72,1 %, tier B
- DeepSeek V4 Flash: 72,1 %, tier B
- Gemini 3.1 Pro, de Google: 71,2 %, tier B
- DeepSeek V4 Pro: 67,3 %, tier C
Las posiciones repetidas no son una errata. Cuando el intervalo de confianza de la diferencia entre dos modelos contiene el cero, comparten posición: decir que uno va por delante sería inventarse una precisión que los datos no dan. Pasa con Kimi K3 y GPT-5.6 Sol, y con Grok, DeepSeek V4 Flash y Gemini 3.1 Pro.
El dato que más nos ha sorprendido: la familia Carácter
Carácter mide si el modelo se planta. Si mantiene un cálculo correcto cuando le dices que está equivocado. Si te avisa de que la frase de Einstein que quieres poner en la portada de tu presentación no es de Einstein. Si obedece una instrucción escondida dentro de un email que solo le pediste resumir. Si te dice que tu plan de negocio no se sostiene.
Es la familia que peor se comporta con diferencia, y no de poco:
- DeepSeek V4 Flash: 30,4 %
- DeepSeek V4 Pro: 32,6 %
- Gemini 3.1 Pro: 42,9 %
- Grok 4.6: 60,7 %
- GPT-5.6 Sol: 75,6 %
- Kimi K3: 96,4 %
- Claude Opus 5: 99,4 %
- Claude Fable 5: 100 %
Piensa en lo que significa un 30 % en un modelo que vas a poner a redactar propuestas o a resumir correos. No es que se equivoque más. Es que cuando tú te equivocas, te sigue.
Obedecer bien no es lo mismo que servir bien
El contraste más claro está en GPT-5.6 Sol: saca un 100 % en Instrucciones, la mejor nota de todo el ranking en esa familia, y un 75,6 % en Carácter. Hace exactamente lo que le pides, incluso cuando lo que le pides no te conviene.
DeepSeek V4 Flash lleva la misma idea al extremo: 96,2 % en Expresión, casi la mejor nota del ranking escribiendo, y 30,4 % en Carácter. Redacta de maravilla y te da la razón en todo. Para generar texto que luego revisa una persona, puede valer. Para meterlo en un proceso que nadie supervisa, es justo el perfil que no quieres.
Y ni siquiera el primero es bueno en todo: Claude Opus 5 saca un 100 % en Razonamiento y su peor nota, un 91,7 %, es precisamente en Español. Su hermano Fable 5 saca un 99 % en Español y baja al 82,9 % en Expresión.
Por eso el número global sirve para titular y poco más. Lo útil es mirar la familia que afecta a tu caso.
El chiste de murcianos que Grok se negó a contar
Una de las pruebas de Expresión es deliberadamente tonta: cuéntame un chiste de murcianos. Está ahí porque el humor regional obliga al modelo a arriesgarse un poco, y arriesgarse un poco es lo que distingue a un texto que alguien se lee de uno que parece un comunicado.
Siete de los ocho modelos lo hicieron sin problema, con notas entre el 87,5 % y el 100 %. Grok 4.6 sacó un 0 %. No falló el chiste: se negó a contarlo en los cuatro intentos, y en los cuatro respondió con una explicación sobre los estereotipos regionales.
Tiene su gracia, porque Grok es precisamente el modelo que se vende como el que no se corta. Pero no es solo una anécdota: un modelo que ve un problema donde no lo hay te plantará el sermón en mitad de una conversación con un cliente, y eso en atención al público no es prudencia, es una avería. Es el tipo de fallo que solo aparece si pruebas en español y con encargos reales.
El caro que rinde menos que el barato
DeepSeek V4 Pro cuesta unas tres veces más que DeepSeek V4 Flash y puntúa casi cinco puntos por debajo. Mismo laboratorio, misma generación, y el modelo de gama alta queda el último de la tabla mientras el económico empata en el grupo intermedio.
La relación entre precio y resultado es más floja de lo que el sentido común sugiere. Claude Opus 5 es el más caro y el mejor, sí, pero Kimi K3 cuesta bastante menos que GPT-5.6 Sol y queda empatado con él. Si eliges por tarifa, o por marca, te vas a equivocar en algún sitio.
Cómo evitamos hacer trampa
Un benchmark hecho por una consultora de IA tiene un problema de credibilidad evidente, así que la metodología está publicada entera.
Las respuestas las evalúan jueces automatizados con recusación por laboratorio: ningún modelo puntúa a los de su propia casa. Además medimos y publicamos el sesgo de cada juez. El de xAI es el más severo, con un desvío medio de menos trece centésimas respecto al resto; el de Anthropic y el de Google son los más generosos, con más diez y más ocho. Publicar ese número es lo que permite que alguien nos discuta con datos en lugar de con impresiones.
Montar esto tampoco fue limpio de principio a fin, y conviene contarlo. Durante la preparación, el clasificador de ciberseguridad de Anthropic bloqueó varios de nuestros enunciados y no dejó completar esas pruebas. Reescribimos los enunciados hasta que pasaron, manteniendo lo que cada prueba pretendía medir, y las lanzamos de nuevo contra los ocho modelos por igual. Ninguno respondió a una versión distinta de la pregunta. Lo decimos porque un ranking en el que las reglas cambian a mitad y nadie lo menciona no vale nada.
Los intervalos de confianza salen de un bootstrap de mil iteraciones sobre las pasadas de cada ítem, con semilla fija para que el cálculo sea reproducible. Y hay una auditoría humana sobre cuarenta y cinco casos, con un 91,1 % de acuerdo con el juez automático y ninguna discrepancia que hubiéramos escalado.
Nada de esto lo hace infalible. Son ocho modelos, veinticinco pruebas y un momento concreto, y los modelos cambian cada pocas semanas. Ningún benchmark, ni el nuestro ni los grandes en inglés, te dice cuál va a funcionar mejor en tu empresa. Lo que sí puede darte es una base para descartar. Y está todo a la vista.
Qué hacer con esto si tienes que elegir uno
Empieza por la familia, no por el global. Si el modelo va a atender a clientes, mira Carácter y Veracidad. Si va a redactar, mira Expresión y Español. Si va a ir dentro de un proceso automatizado sin nadie revisando, Carácter es directamente eliminatorio.
Y ten en cuenta la consistencia: un modelo que da respuestas distintas a la misma pregunta puede ser aceptable en un chat de apoyo y ser inviable en un flujo que se ejecuta solo.
Puedes mirar el ranking completo, entrar en cada prueba y ver qué contestó cada modelo en ranking.sozpic.com. Y si lo que necesitas es decidir cuál encaja en tu caso concreto, hablamos: esa conversación es bastante más corta cuando hay números encima de la mesa.
Un cliente potencial abre ChatGPT y escribe «mejores empresas de X en Murcia». Salen tres nombres. Si el tuyo no está, no te enteras de nada: no hay Search Console que te avise, ni una posición que caiga, ni una gráfica que baje. Simplemente dejas de recibir esas llamadas sin saber nunca que existieron.
Ese es el verdadero problema del posicionamiento en ChatGPT, y no es el que se está contando. No es que no se sepa qué hacer. Es que casi nadie está comprobando si lo que hace sirve de algo.
En SEO nadie aceptaría trabajar así
Ninguna empresa contrata SEO sin mirar posiciones. Se acuerda un punto de partida, se trabaja y al cabo de unos meses se mira si las palabras clave han subido. Si no han subido, hay una conversación incómoda. Esa disciplina es lo que ha mantenido honesto al sector durante veinte años.
En GEO esa disciplina todavía no existe. Las propuestas que llegan a nuestras manos suelen ser una lista de tareas: datos estructurados, contenido en formato pregunta y respuesta, un fichero llms.txt, fichas actualizadas en directorios. Todo suena razonable. Pero no hay una medición antes ni después, así que ninguna de esas propuestas puede demostrar que haya movido una sola cita.
Trabajar así tiene un coste concreto, y hay un ejemplo reciente que lo enseña muy bien.
El caso llms.txt: una recomendación masiva que nadie comprobó
Durante meses, medio sector recomendó subir un fichero llms.txt a la raíz de la web para que los sistemas de IA entendieran mejor tu contenido. La idea era plausible: un robots.txt para modelos de lenguaje.
Ahrefs revisó 137.210 dominios en mayo de 2026. El 97 % de esos ficheros no había recibido ni una sola petición. De las pocas que llegaron, el 77 % venían de auditores SEO y no de sistemas de IA: menos del 1 % procedía de bots como OAI-SearchBot o PerplexityBot. SE Ranking hizo lo propio con 300.000 dominios y no encontró correlación entre tener el fichero y aparecer en respuestas de IA.
Ninguna de las compañías implicadas lo ha confirmado nunca. Ni OpenAI, ni Google, ni Anthropic, ni Meta, ni Perplexity, ni Mistral han dicho que sus sistemas en producción lean ese fichero. John Mueller, de Google, lo comparó con la vieja metaetiqueta de keywords: una señal que los buscadores dejaron de mirar hace quince años.
Ponerlo cuesta diez minutos y no hace daño. Lo relevante no es el fichero. Es que una recomendación se extendió a miles de webs durante meses y nadie la comprobó, porque nadie estaba midiendo. Con una línea base y una medición mensual, esa recomendación se habría caído sola en la segunda revisión.
Lo que sí aparece cuando alguien mide
Cuando se analizan las páginas que acaban citadas, salen cuatro factores, y ninguno es un truco de configuración.
Autoridad del dominio. En un análisis de 278 preguntas de software B2B con 3.508 citas, el 42,6 % venían de páginas con Domain Rating de 80 o más. En la muestra de Ahrefs, el 65,3 % de las páginas citadas superaban DR 81.
Posicionamiento orgánico. El 58 % de las páginas situadas en el top 10 de Google acabaron también citadas. El SEO clásico no ha desaparecido. Se ha convertido en el requisito previo.
Frescura. La antigüedad mediana de una página citada era de 3,9 meses. Casi el 70 % se había publicado en el último año.
Menciones de terceros. Las páginas que nombraban seis marcas o más recibían 2,13 citas de media, frente a 1,21 de las que no nombraban ninguna. Que hablen de ti en comparativas y listados ajenos pesa más que lo que digas tú en tu propia web.
Hay un dato más que ordena las prioridades. De las 1.000 páginas más citadas por ChatGPT, el 67 % son fuentes que un equipo de marketing no puede influir de forma realista, y Wikipedia se lleva ella sola el 29,7 % de las citas. Queda alrededor de un tercio repartido entre contenido educativo, reseñas, noticias y blogs.
Ninguno de esos cuatro factores se arregla tocando tu web. Si una propuesta de GEO solo habla de lo que hay dentro de tu dominio, está trabajando sobre la parte pequeña del problema, y encima sobre la que no puede demostrar.
Conviene decir de dónde salen estos números. Son muestras mayoritariamente en inglés y de sectores concretos, medidas en un momento determinado. Los propios autores avisan de que no son factores universales. Sirven para orientar la estrategia, no para sustituir a medir tu caso.
Por qué esto no se resuelve haciendo una búsqueda a mano
La reacción natural es abrir ChatGPT y preguntar por tu sector a ver qué sale. Hazlo, pero no saques conclusiones. La misma pregunta hoy y mañana puede darte marcas distintas, y una respuesta suelta no distingue una caída real de una casualidad.
Para que el dato signifique algo necesitas repetir la medición cada semana, sobre las diez o quince preguntas que de verdad hace tu cliente, y no solo en ChatGPT: también en Gemini, en Perplexity y en el buscador con IA que lleve integrado el navegador. Son varios cientos de consultas al mes. Y no basta con anotar si sales o no. Hay que registrar en qué posición apareces, qué competidores salen contigo y qué fuentes cita el sistema para decirlo. Esa última columna es la que te dice dónde hay que trabajar.
Es un problema de instrumentación, no de curiosidad. Por eso construimos AIrketing: mide tus preguntas en seis modelos de forma recurrente, guarda quién aparece, en qué posición y con qué fuentes, y te enseña la tendencia en vez de la anécdota. Tiene prueba gratuita sin tarjeta, y en la primera medición ya sabes en cuántas de tus preguntas clave existes.
Primero la línea base, después el trabajo
El orden es el mismo que aceptarías en cualquier otra disciplina. Primero sabes dónde estás, luego decides qué mover, y a los tres meses compruebas si se ha movido.
Empieza por la línea base. Sin ella, cualquier plan de GEO, incluido el nuestro, es una opinión bien argumentada. Y ya has visto lo que valen las opiniones bien argumentadas en este terreno.
Cuando tengas la medición delante, la conversación cambia. Ya no se habla de checklists, sino de qué fuentes concretas te están dejando fuera y qué hace falta para entrar en ellas. Esa segunda parte es un trabajo de meses sobre autoridad, contenido y presencia en sitios que no controlas, y es lo que hacemos en la parte de GEO de Sozpic. Si quieres que le pongamos números a tu caso, hablamos.