Un método de poda reduce la degradación de transformers al seleccionar unidades con bandidos

Según arXiv, el estudio formula la selección de unidades estructurales como un problema de bandidos multi-brazo con presupuesto fijo de evaluación. Se enmascaran temporalmente cabezas de atención y grupos de canales MLP en lotes de calibración; el daño emparejado es la pérdida enmascarada menos la pérdida base en el mismo lote. Una recompensa acotada suave impulsa una política estilo UCB o muestreo de Thompson Beta fraccional, y la máscara final se construye secuencialmente añadiendo una unidad por paso.

Los experimentos cubren WikiText-2, LAMBADA e Imagenette con GPT-2, OPT, Pythia, Qwen2.5, SmolLM2, ViT-B/16, DeiT-Tiny y Swin-Tiny, comparando contra selección aleatoria, por magnitud, saliencia estática y voraz con presupuesto. En cinco semillas, los métodos de bandidos suelen reducir la degradación frente al voraz con presupuesto en comparaciones emparejadas de modelos de lenguaje. De 28 comparaciones destacadas, 23 intervalos de confianza bootstrap excluyen cero y 11 pruebas emparejadas tienen p < 0,05; seis tienen q < 0,05 tras corrección de Benjamini-Hochberg sobre 116 pruebas por conjunto de datos.

Las unidades seleccionadas se ponen a cero funcionalmente en el checkpoint denso original, por lo que los efectos de parámetros reportados representan supresión estructural efectiva, no compresión física ni aceleración medida. Los resultados de evaluación emparejada para ViT-B/16 y Swin-Tiny indican que sus ganancias no se explican solo por un mayor presupuesto de evaluación de candidatos.