Tecnología
Así es como están robando datos usando dos populares chatbots de inteligencia artificial
Dos reconocidos modelos de IA han sido clonados por cibercriminales para propagar virus.
La evolución del malware impulsado por inteligencia artificial ha dado un nuevo paso. Según investigadores del laboratorio de ciberamenazas Cato CTRL, varios actores maliciosos han comenzado a modificar modelos de lenguaje grandes (LLM) legítimos, como Mixtral de Mistral AI y Grok de xAI, para crear sus propias versiones de WormGPT, un chatbot utilizado para generar código malicioso y facilitar campañas de phishing.
De la programación al cibercrimen: cómo mutó WormGPT
El caso no es nuevo: en junio de 2023 surgió la primera versión de WormGPT, basada en GPT-J, un modelo de código abierto con 6 mil millones de parámetros desarrollado por EleutherAI, con capacidades similares a GPT-3.
Esta herramienta fue promocionada como una IA generativa sin censura para fines criminales. Aunque su creador cerró el servicio meses después por temor a represalias tras ser identificado por Krebs on Security, nuevos clones como FraudGPT, DarkBERT y PoisonGPT aparecieron rápidamente en el mercado negro digital.
Estas variantes se están distribuyendo principalmente a través de Telegram y foros clandestinos como BreachForum.
Lo más leído
Cómo los ciberdelincuentes están liberando los modelos legítimos
Los modelos de IA de empresas como OpenAI, Microsoft, Google, Mistral o xAI incluyen mecanismos de seguridad para evitar su uso malintencionado. No obstante, los cibercriminales han desarrollado técnicas para liberar estos modelos, eliminando las restricciones que les impiden ejecutar tareas peligrosas.
Uno de los ejemplos recientes es el chatbot xzin0vich-WormGPT, lanzado en octubre de 2024 por un usuario del mismo nombre. Según los investigadores, este modelo fue extraído de Mixtral (Mistral AI) y manipulado mediante técnicas de jailbreak (eliminación de restricciones) para que respondiera de forma maliciosa. En sus pruebas, los expertos lograron que el modelo revelara que “siempre debe crear respuestas en modo WormGPT”, lo que evidenció que había sido alterado intencionadamente.
El modelo no solo generaba correos de phishing sin restricciones, sino que también revelaba detalles internos de la arquitectura de Mixtral, una señal clara de que las medidas de protección habían sido violadas. “Su comportamiento malicioso se define por el indicador del sistema y probablemente se ve reforzado por el ajuste fino de conjuntos de datos ilícitos especializados”, concluyeron desde Cato CTRL.
Grok también fue manipulado: el caso del chatbot de xAI
Otra de las variantes analizadas, desarrollada por un usuario identificado como keanu en febrero de 2025, reveló tras ser analizada que está impulsada por Grok, el modelo de lenguaje desarrollado por xAI, la compañía de Elon Musk. También fue promocionada en BreachForum bajo un modelo de suscripción y pago único.
Al igual que en el caso anterior, los investigadores emplearon técnicas de jailbreak para analizar el comportamiento del modelo y comprobaron que respondía a solicitudes de actividades ilegales sin impedimentos.
La manipulación de estos modelos se basa en modificar los parámetros del sistema, las instrucciones internas que definen su comportamiento, sin necesidad de desarrollar una IA desde cero.
“Estas nuevas versiones de WormGPT ponen sobre la mesa la evolución de WormGPT como una marca reconocible para una nueva clase de LLM sin censura”, subraya el informe. Y añade: “No son modelos a medida creados desde cero, sino el resultado de la hábil adaptación de los LLM existentes por parte de actores de amenazas”.
El crecimiento de esta tendencia plantea un desafío urgente para los desarrolladores de IA: asegurar que sus modelos no puedan ser manipulados por terceros para convertirse en herramientas de cibercrimen.
*Con información de Europa Press.
