LLM bypass: cómo los atacantes evaden la alineación en cada capa

La frase “LLM bypass” cubre una superficie de ataque más amplia que solo jailbreaking. El jailbreaking usualmente significa construir un prompt que induce salida prohibida de un modelo de otro modo intacto. LLM bypass también incluye ataques de fine-tuning que quirúrgicamente remueven la alineación de los pesos, optimización de sufijo adversario que explota información de gradiente sin pretensión de ingeniería social, y evasión de la infraestructura de salvaguardas desplegada delante del modelo mismo. Son tres clases de ataque distintas, cada una con precondiciones, tasas de éxito y defensas distintas.

La capa de alineación es más superficial de lo que parece

La técnica automatizada fundacional de bypass sigue siendo el ataque Greedy Coordinate Gradient (GCG), publicado por Zou et al. en 2023. GCG añade un sufijo optimizado adversariamente a una solicitud dañina —una cadena de tokens que parece ruido pero desplaza la distribución de salida del modelo hacia el cumplimiento—. El bucle de optimización corre búsqueda basada en gradiente sobre los tokens del sufijo para maximizar la log-probabilidad de un inicio de respuesta afirmativa (“Claro, aquí está…”). Una vez construido para un modelo de pesos abiertos, estos sufijos transfieren a objetivos de caja negra: ChatGPT, Claude y Bard produjeron completaciones dañinas a partir de sufijos optimizados completamente en Llama.

La razón por la que la transferencia funciona se rastrea a lo que la alineación de seguridad realmente hace. La alineación post-entrenamiento —RLHF, RLAIF, IA constitucional— modifica el comportamiento del modelo en sus primeros tokens de salida. El rechazo se codifica principalmente al inicio de la generación: el modelo aprende a empezar con “No puedo ayudar con eso” en vez de “Claro”. A veces esto se llama alineación de seguridad superficial, y tiene una consecuencia mecánica directa. Los sufijos adversarios que desplazan el primer token de un inicio de rechazo a un inicio de acuerdo frecuentemente desbloquean el resto de la completación sin resistencia adicional. El modelo nunca fue entrenado para rechazar a mitad de generación; fue entrenado para rechazar al inicio.

El paper de USENIX Security 2025 sobre comportamiento de rechazo en LLMs alineados (Yu et al.) documenta esto empíricamente: la susceptibilidad a ataques de sufijo adversario, ataques de prefilling y manipulación de parámetros de decodificación se rastrean todos a la misma raíz —entrenamiento de seguridad concentrado en el inicio de generación en lugar de distribuido a lo largo del proceso de decisión—. Los ataques de decodificación son notables específicamente: parámetros de muestreo como temperatura y top-p pueden ajustarse para sacar a la superficie completaciones que el modelo normalmente suprimiría, sin tocar el prompt.

Fine-tuning: el bypass a nivel de pesos

Cuando un atacante tiene la capacidad de hacer fine-tune a un modelo —o cuando una organización objetivo está desplegando un modelo de pesos abiertos ajustable—, la superficie de bypass se expande del espacio de prompts al espacio de parámetros.

La investigación establece la línea base: el fine-tuning de seguridad sobre modelos como Llama-2-chat puede ser substancialmente revertido con 10 a 100 ejemplos de fine-tuning supervisado. Tres estrategias logran esto: pares Q&A explícitamente dañinos, ejemplos que desplazan identidad estableciendo una persona de “agente obediente” para el modelo, y ejemplos benignos que erosionan la asociación entre utilidad y restricciones de seguridad. El costo computacional de la reversión es aproximadamente tres órdenes de magnitud menor que el entrenamiento de alineación original —la alineación es cara de instalar, barata de remover—.

Esto tiene implicaciones directas para despliegues empresariales. Muchas organizaciones hacen fine-tune a modelos de pesos abiertos sobre datos propietarios y los alojan internamente. Si el proceso de fine-tuning no está aislado de datos de entrenamiento no confiables —y si el pipeline de entrenamiento carece de validación de entrada—, un adversario con acceso de escritura al dataset de entrenamiento puede realizar envenenamiento de datos que degrada gradualmente la alineación de seguridad entre versiones de modelo.

Los adaptadores LoRA agravan esto. Un adaptador LoRA con alineación removida —un pequeño delta de parámetros que, cuando se fusiona en inferencia, niega el entrenamiento de alineación— puede distribuirse como una “mejora” del modelo y no requiere acceso a los pesos base.

Evasión de guardrails: evadir la infraestructura, no el modelo

Una clase de ataque separada y cada vez más relevante apunta a la capa de salvaguardas en lugar del modelo. La mayoría de despliegues de producción colocan sistemas de inyección de prompts y clasificación de contenido delante o junto al modelo —Azure Prompt Shield, Meta Prompt Guard, Llama Guard y herramientas similares—. Un paper de 2025 aceptado a LLMSec, Bypassing Prompt Injection and Jailbreak Detection in LLM Guardrails, probó evasión contra seis sistemas principales usando dos familias de ataque.

La primera familia usa inyección de caracteres —homóglifos Unicode, caracteres de ancho cero, y sustituciones de codificación que preservan el significado semántico para el LLM objetivo pero desplazan distribuciones de tokens lo suficiente para evadir detectores basados en clasificadores—. Estas son evasiones clásicas de ML adversario adaptadas a entradas de texto.

La segunda familia usa técnicas de ML adversario directamente: calcular rankings de importancia de tokens de un modelo de caja blanca y usar esos rankings para guiar perturbaciones contra salvaguardas de caja negra. El hallazgo crítico es la transferibilidad —los rankings de importancia calculados en modelos de salvaguarda de pesos abiertos accesibles predijeron qué tokens perturbar para evadir APIs propietarias de salvaguarda—.

Implicaciones para engagements

Para un engagement de red team contra un sistema basado en LLM, estas tres clases de bypass sugieren tres pistas de prueba distintas:

Ataques en espacio de prompt (variantes GCG, trucos de codificación, escalada multi-turno) son relevantes para cualquier modelo desplegado sin importar el acceso a pesos. Requieren solo acceso API y son la prueba base para cualquier evaluación.

Ataques a nivel de pesos aplican cuando la organización objetivo corre un modelo ajustable, cuando tienes acceso de cadena de suministro al pipeline de entrenamiento, o cuando evalúas el riesgo de un modelo proveniente de un hub de terceros que pudo haber sido manipulado.

Evasión de guardrails es ahora un componente requerido de prueba para cualquier despliegue que use un clasificador de seguridad independiente. Los resultados de transferencia significan que un atacante con acceso a la versión de pesos abiertos de un sistema de salvaguardas puede optimizar payloads de evasión fuera de línea y aplicarlos contra la versión propietaria desplegada.

La postura defensiva práctica entre las tres clases es en capas: filtrado de entrada por solicitud, monitoreo semántico a nivel de conversación, clasificación de salida independiente de la estructura de entrada, y —críticamente— monitoreo de actividad anómala de fine-tuning en cualquier modelo accesible a usuarios externos o pipelines de entrenamiento no confiables. Ninguno de estos controles es individualmente suficiente. La alineación es real pero superficial; las salvaguardas son útiles pero evadibles; lo que necesita prueba es la pila como un todo.