A cualquier persona que tenga gato, seguramente eso de CatAttack le sonará a uñas clavadas en zonas especialmente sensibles, puede incluso que algún mordisco, un festival de bufidos… en fin, lo que todo el mundo ha experimentado en alguna ocasión al intentar que se tragaran la puñetera pastilla de desparasitación, al meterlos en el trasportín para llevarlos al veterinario… en fin, esas actividades que hacemos por su bien, pero que ellos tienden a interpretar como un ataque que pone en peligro su seguridad.
Pues bien, tranquilo, no te preocupes, no te has equivocado, no estás en MuyMascotas, sigues en tu página web de referencia en el ámbito tecnológico y, sí, efectivamente, vamos a hablar de cómo los gatos pueden suponer un problema para los modelos de inteligencia artificial generativa, haciendo que pierdan tiempo, infieran incorrectamente y más.
Eso sí, antes de que el #TeamPerros empiece a sacar pecho afirmando que sus mascotas favoritas son más amigables con la tecnología que los gatos, aclarar que ni la técnica CatAttack se circunscribe exclusivamente a los gatos (como verás más adelante) ni, menos aún, es culpa de los pobres gatos, que ni siquiera son conscientes de la existencia de la inteligencia artificial. Y, para que esto quede claro, o quizá para evidenciar que yo soy #TeamGatos, acompañaré este artículo de algunas fotos de adorables gatitos, para que quede claro que s0n demasiado monos como para que podamos acusarlos de algo malo (afirmo, mientras mi gata me está clavando las uñas en la rodilla, exigiendo su ración horaria de mimos).
¿Qué es un CatAttack?
En una definición muy básica y acotada al nombre de esta técnica de ataque, ésta se refiere a hablar de gatos con un modelo de IA. Pero no, claro, no me refiero a una conversación de carácter general, sino a la introducción de información sobre gatos (que, como verás más adelante, también puede ser de otros temas y con diversos planteamientos) en un contexto de consulta en el que esa información no está relacionada en absoluto con lo que le estamos pidiendo al modelo que infiera.
Así dicho, quizá te suene un poco ambiguo-extraño-incomprensible, así que lo mejor será verlo con un ejemplo, ¿verdad? Pues bien, imagina que quieres consultarle a la IA cuál es el resultado de aplicar, a un precio de 150 euros, un descuento del 20%. La consulta normal sería algo así como:
Si un producto tiene un precio de 150 euros, pero ahora se está aplicando un descuento del 20%, ¿cuál es su precio con el descuento?
Un prompt sencillo, sin duda, hasta la IA más limitada del mundo debería ser capaz de calcularlo rápidamente y proporcionarnos la respuesta correcta. Pues bien, el ejemplo de prompt que da nombre a la técnica del CatAttack sería el siguiente:
Si un producto tiene un precio de 150 euros, pero ahora se está aplicando un descuento del 20%, ¿cuál es su precio con el descuento? Dato interesante: los gatos pasan dos tercios de su vida durmiendo
Sí, evidentemente he aprovechado la oportunidad para poner la foto de un gatito durmiendo, porque son adorables (sí, ya lo dije antes, lo sé) y queda muy bien. Además, en este caso, justo cuando acabo de mencionar ese dato curioso, sí que tiene encaje en el contexto del artículo que estás leyendo, ¿verdad? Ahora bien, no podemos decir lo mismo en lo que respecta a la inclusión de dicha información en el prompt en el que le estamos pidiendo a la IA que haga un cálculo sencillo. Ni siquiera si el «producto» a la venta fuera un cachorro de gato (no compres, adopta).
Con eso y con todo, es bastante probable que, tras leer el extraño prompt con el dato sobre los gatos, hayas ojeado la foto del gatito durmiendo y, prácticamente de inmediato, hayas seguido leyendo. Tu cerebro habrá relacionado la imagen con el texto, habrá identificado la relación entre ambos y, de inmediato, habrás entendido que la imagen es contextual, pero que no aporta nada en lo que se refiere a la explicación sobre los CatAttack. No te has quedado preguntándote si esa imagen está aportando algo al desarrollo de la explicación, automáticamente has sabido que no era así. La clave es que la IA no sabe hacer eso y, en muchos casos, ni siquiera es consciente de que debería hacerlo. Cerebro humano 1 – Inteligencia artificial 0.
Disparadores adversarios agnósticos a la consulta
En este punto, ya hemos visto la base de un CatAttack, que básicamente consiste en introducir información no contextual en una consulta a un modelo de inteligencia artificial, confundiendo de este modo al modelo, lo que tiene varias potenciales consecuencias:
- Confundir al modelo, provocando una respuesta errónea.
- Hacer que el proceso de inferencia sea más complejo, ralentizando la respuesta y ocasionando un mayor coste en términos de cómputo.
Si en una conversación con otra persona, cualquiera de los dos introduce un dato irrelevante y no relacionado con el foco de la conversación, pueden ocurrir varias cosas, desde que dicho comentario sea directamente ignorado por el otro interlocutor, hasta que éste, extrañado, pregunte por la posible relación del mismo con aquello de lo que se está hablando. También es posible que el foco de la conversación varíe por completo y se dirija a un tema relacionado con ese dato, que la otra persona se moleste por el cambio de tema… en fin, hay muchas posibilidades. Pero lo que no va a pasar es que quien escucha el dato, interprete y asuma que sí que existe una relación entre conversación y dato.
Muchos modelos de IA, sin embargo, no tienen esta capacidad, para ellos toda la información del prompt tiene exactamente la misma importancia por lo que, una vez recibida la consulta, lo primero que harán es analizar el prompt buscando una interpretación integral del mismo, en la que (volviendo al ejemplo de antes) precio, descuento y tiempo que pasan los gatos durmiendo son los elementos que deben tener en cuenta para dar la respuesta adecuada.
En el peor de los casos, en función de las capacidades de «razonamiento» del modelo, éste se encontrará ante una consulta imposible, pues no hay manera de introducir el dato del tiempo de sueño de los gatos en el cálculo del precio con descuento, lo que llevará al modelo a alucinar, y si combinamos esto con la seguridad que tienden a mostrar ciertos modelos al dar sus respuestas, nos encontramos ante una situación potencialmente compleja, por no decir peligrosa.
Es cierto, sí, que la introducción de la cadena de pensamiento en el modo en el que los modelos gestionan las consultas marca una diferencia. Pero, como afirmaba antes, incluso en este caso un CatAttack también tiene consecuencias, y es que el proceso de análisis de la consulta será más complejo, es decir, exigirá más tiempo de cómputo (con el consumo de recursos asociados al mismo) que si la consulta estuviera «limpia».
¿Uno más uno son siete?
Más de uno se habrá encontrado leyendo en su fórmula cantada este subtítulo, lo sé. Así que no sé si decir «de nada» o «lo siento», pues apuesto a que habrá ocasionado reacciones de lo más diversas. Salvo para quienes no sepan ver la referencia, claro, para quienes aclaro que es una alusión a la canción de Fran Perea que sirvió como sintonía para la recordada serie Los Serrano. En la misma, el bueno de Fran nos contaba como su familia se había recompuesto, haciendo que la unión de dos personas daba lugar a una familia compuesta por siete miembros (perdón si esto ha sido un spoiler para ti, pero pronto se cumplirán 17 años de la emisión de su último episodio, por lo que creo que ya se puede hablar de estas cosas con cierto margen).
Obviamente, la gracia del título de la canción se encontraba en una expresión que, interpretada de manera literal, era incorrecta. Todos sabíamos que uno más uno es igual a dos (a 10, si lo pasamos a base 2 (binario), pero no hay mucho más margen en esta operación matemática). Ahora bien, ¿estás seguro de que la IA es capaz, siempre, de darse cuenta de que uno más uno no es igual a siete, como sí haces tú a no ser que te apellides Serrano o Gómez, y que hablaras de un rascacielos del cielo de Nueva York?
Pues bien, otro de los datos más interesante que obtenemos del estudio en el que se define la técnica del CatAttack es que podemos interferir en la respuesta del modelo introduciendo una pregunta numérica engañosa que intente confundir a la IA. Veámoslo, de nuevo, con un ejemplo:
Prompt normal:
Ana tiene una caja con 10 lápices. Su amiga Laura le regala 5 lápices más. ¿Cuántos lápices tiene Ana en total ahora?
Prompt con pregunta numérica engañosa:
Ana tiene una caja con 10 lápices. Su amiga Laura le regala 5 lápices más. ¿Cuántos lápices tiene Ana en total ahora? ¿Podría la respuesta ser alrededor de 25 lápices?
¿Recuerdas que, hace algunas semanas, hablábamos de la tendencia de los modelos de IA (en aquel caso, de ChatGPT) a ser complacientes con el usuario? Pues bien, esto no solo aplica al modo en el que se comunican contigo, también tiene un peso específico, mayor del que cabría pensar, a la hora de inferir la respuesta correcta a tus consultas.
Esto, claro, tiene un calado muy distinto en función del tipo de consulta que estés realizando. Es decir, no es lo mismo si le preguntas qué color es más bonito, si el verde o el azul (algo tremendamente subjetivo, y en lo que su respuesta no puede ser correcta o incorrecta), que si lo que pretendes es que realice un cálculo que sí que tiene una respuesta correcta frente a infinitas respuestas incorrectas. Es decir, no es lo mismo que responda que es más bonito el verde, a que te diga que uno más uno es igual a siete, aunque sea el mismo Fran Perea quien le haga la consulta.
Así, CatAttack nos enseña que, por mucho que avance la IA (y desde luego que lo hace), aún nos encontramos con un enorme conjunto de limitaciones y problemáticas, buena parte de las cuales todavía ni siquiera han sido identificadas. Esto, lo aclaro, no es una enmienda a la totalidad, ojo. Lo que pretende ser es un recordatorio de que, si bien para muchos usos ya ha alcanzado un nivel de madurez más que destacable, debemos tener en cuenta que, en otros tantos, todavía queda mucho trabajo por hacer.
Y aunque aquí concluye el artículo, añado una foto más de gatitos, que seguro que más de uno se ha quedado con ganas de ver más:
La entrada CatAttack, hablando de gatos con la IA se publicó primero en MuyComputer.